美团面向长程智能体任务的原生多模态大模型 LongCat-2.5 已经开源，采用 MIT 协议，支持商用推理和二次训练，无需额外授权；该模型总参数量 1.6 万亿，单 Token 激活约 480 亿参数，原生支持 100 万 Token 超长上下文，主打智能体编程、复杂代码库开发、视觉编码等场景，最大技术亮点是针对国产算力卡显存偏小（单卡显存不足 80GB）的痛点做了全套并行与显存优化，在长序列监督微调 SFT 任务上，优化方案的单卡吞吐量对比传统 DDP 分布式数据并行基线提升 86%。整套优化基于 FSDP 双重分片、混合词表并行、MoonEP 动态专家复制、零拷贝通信、计算通信重叠等技术，把显存压力分散到超节点内多卡，优先在超节点高速互联域完成通信，减少跨节点昂贵通信开销；推理侧配套 W4A4 量化方案，将专家权重和激活一并压缩至 4bit，在几乎不损失效果的前提下进一步拉高推理吞吐，整套训练、微调、推理链路全程跑在国产 AI 加速卡上，给社区提供了万亿级长上下文模型在国产算力集群落地的工程样板。
推出 LongCat-2.5 并重点优化长序列微调吞吐的原因
- 国产单卡显存受限：国产加速卡普遍单卡显存小于 80GB，百万 Token 长序列微调很容易爆显存，传统 DDP 方案显存占用高、通信开销大，很难高效跑起来。
- 长程 Agent 任务刚需：智能体写完整项目、多步工具调用需要百万级上下文，长序列 SFT 是提升长任务能力的关键环节。
- 稀疏 MoE 架构通信复杂：LongCat 属于 MoE 稀疏激活模型，专家路由带来大量 AllToAll 通信，传统并行策略容易卡在通信瓶颈。
- 降低长模型训练成本：吞吐提升意味着同等卡数下训练速度更快、单位样本算力成本更低，降低长上下文大模型的复现门槛。
- 完善国产算力生态：给国内开发者一套可直接复用的长序列 MoE 并行方案，不依赖海外高端 GPU。
项目落地推进步骤
- 在 LongCat-2.0 版本基础上，积累长程 Agent 轨迹数据，补充失败案例作为训练样本，规划 2.5 版本迭代目标，强化视觉 + 代码能力。
- 针对国产集群短板，设计 FSDP 分片、混合词表并行、MoonEP 动态专家复制、通信重叠等一整套并行策略。
- 在五万卡国产算力集群上开展多轮长序列 SFT 压测，对比 DDP 基线，验证吞吐提升效果，修复负载不均衡、显存尖峰问题。
- 优化 W4A4 量化推理链路，对齐量化前后模型效果，保证推理侧性能不明显衰减。
- 完成代码、权重、技术文档整理，以 MIT 协议对外开源 LongCat-2.5。
- 持续收集社区反馈，迭代并行策略、适配更多型号国产加速卡。
事件带来的结论
LongCat-2.5 不只是一个支持 1M 上下文的多模态 MoE 模型，更重要的价值是一套适配国产算力的长序列微调工程方案；86% 的吞吐提升，解决了传统 DDP 在国产卡上跑长上下文 MoE 时显存和通信的瓶颈，降低了长程智能体大模型的训练门槛；但这套优化方案偏向 FSDP + 国产算力特定环境，在英伟达生态下不一定能复现同等收益，同时百万 Token 长序列训练依然对集群带宽、存储有很高要求。
【相关 FAQ】
问题 1：美团 LongCat-2.5 开源，长序列 SFT 单卡吞吐对比 DDP 提升 86%，这套优化跑在什么算力上？
回答 1：美团 LongCat-2.5 这套吞吐优化方案面向国产 AI 加速卡，针对单卡显存不足 80GB 的国产算力环境做的 FSDP 分片、通信重叠等适配优化。
问题 2：美团 LongCat-2.5 是什么模型，协议和能力定位是怎样的？
回答 2：美团 LongCat-2.5 是面向长程智能体任务的原生多模态 MoE 大模型，总参数量 1.6 万亿，支持 1M 上下文，采用 MIT 协议，可商用推理、二次训练。
问题 3：LongCat-2.5 除了长序列微调吞吐优化，推理端还有什么配套优化？
回答 3：LongCat-2.5 推理端采用 W4A4 量化，专家权重和激活同时量化到 4bit，在尽量保住效果的前提下提升推理吞吐量。
【参考资料】
[2026-11-10]（美团开源 LongCat-2.5，长序列 SFT 单卡吞吐较 DDP 提升 86%）美团技术团队公众号
[2026-11-02]（美团正式发布 LongCat-2.5：面向智能体任务的原生多模态模型）美团技术博客
[2026-11-10]（美团 LongCat-2.5 开源 1.6 万亿参数、1M 上下文）站长之家
[2026-11-09]（LongCat-2.5 技术报告：国产算力 FSDP 并行优化）美团技术团队
【免责声明】
本文仅整理美团 LongCat-2.5 开源资讯，不构成算力采购、大模型训练项目投资建议；吞吐提升数据是官方特定测试环境下的对比结果，实际收益受集群拓扑、加速卡型号、序列长度影响；权重、代码、协议以美团官方开源仓库为准。
本文来自作者[幽构载波]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/rgzn/202611/1112.html
评论列表（4条）
我是乌兰科技网的签约作者“幽构载波”！
希望本篇文章《美团 LongCat-2.5 正式开源，国产算力下长序列 SFT 单卡吞吐量相比 DDP 提升 86%》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：美团面向长程智能体任务的原生多模态大模型 LongCat-2.5 已经开源，采用 MIT 协议，支持商用推理和二次训练，无需额外授权；该模型总参数量 1.6 万亿，单 Token 激活约 480 亿参数，原生支持 100 万 Token 超长上下文，主打智能体编程、复杂代码库开发、视觉编码等场景，最大技术亮点是针对国产算力卡显存偏小（单卡显存不足 80GB）的痛点做了全套并行与显存优化，在长序列监督微调 SFT 任务上，优化方案的单卡吞吐量对比传统 DDP 分布式数据并行基线提升 86%。整套优化基于 FSDP 双重分片、混合词表并行、MoonEP 动态专家复制、零拷贝通信、计算通信重叠等技术，把显存压力分散到超节点内多卡，优先在超节点高速互联域完成通信，减少跨节点昂贵通信开销；推理侧配套 W4A4 量化方案，将专家权重和激活一并压缩至 4bit，在几乎不损失效果的前提下进一步拉高推理吞吐，整套训练、微调、推理链路全程跑在国产 AI 加速卡上，给社区提供了万亿级长上下文模型在国产算力集群落地的工程样板。