摩尔线程近期官宣,依托 MTT S5000 训推一体智算卡和 MUSA 全栈软件平台,顺利完成月之暗面 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通了模型加载、参数分片调度、跨卡梯度同步的全链路,这代表国产 GPU 已经可以支撑这套 2.8 万亿参数、百万上下文的多模态大模型做图文联合训练,不再只局限于推理部署。Kimi K3.1 Pro 属于 MoE 混合专家架构,带有 KDA、Gated DSA 稀疏注意力、动态专家路由和 MoonViT-V2 视觉塔,训练时语言分支和视觉分支需要同步做前向、反向传播,对底层算子、显存管理、多机通信的要求很高,之前很多国产芯片只能跑推理,很难稳定跑完这套模型的训练流程。摩尔线程这次在双机 16 卡环境里做验证,连续跑完 400 步训练,全程没有数值溢出、程序中断,Loss 指标平稳收敛,视觉编码器也可以正常更新梯度;适配过程补齐了稀疏注意力、专家分发归并、跨模态投影对应的梯度算子,沿用 NeMo 原生训练流程,靠 FSDP2 把参数、梯度、优化器状态分散到多张卡,MCCL 组件负责跨节点通信,缓解超大模型的显存压力。这次适配落地,也证明摩尔线程的全栈方案具备从推理到大规模多模态训练的能力,是国内少数可以支撑万卡集群做大模型训练的国产 GPU 厂商,为国内自研大模型提供一条自主算力路线。
本次适配核心信息清单
- 适配模型:Kimi K3.1 Pro(月之暗面开源,总参数 2.8 万亿,支持 100 万 token 上下文,原生多模态 MoE 模型)
- 硬件载体:摩尔线程 MTT S5000 AI 智算卡
- 软件底座:MUSA 软件栈、MATE 算子库、MCCL 通信库、FSDP2 并行框架
- 验证集群:双机、合计 16 张 MTT S5000
- 验证结果:稳定连续训练 400 步,Loss 正常收敛,语言 + 视觉分支都支持梯度更新,无溢出中断
- 核心能力:打通图文联合训练链路,不只是推理适配,支持模型微调、后训练、RLHF 类任务
- 技术重点:适配 KDA、Gated DSA 稀疏注意力、动态专家路由、MoonViT-V2 视觉塔
推理适配与训练适配对比
| 项目 | 早期 Day-0 推理适配 | 本次 Kimi K3.1 Pro 训练适配 |
|---|---|---|
| 核心目标 | 加载权重、生成文本图片,对外提供服务 | 参数更新、梯度回传、Loss 收敛,支持微调与后训练 |
| 计算链路 | 只跑前向计算 | 前向 + 反向 + 优化器更新完整闭环 |
| 显存压力 | 主要是权重 + KV 缓存 | 权重、梯度、优化器状态三重占用,显存压力大很多 |
| 并行方案 | TP 张量并行为主 | FSDP2 全分片并行,跨机梯度同步 |
| 业务价值 | 拿来直接部署使用 | 可以基于底座继续迭代、做领域微调、强化学习 |
【相关 FAQ】
问题 1:摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配意味着什么?
回答 1:摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配,代表 MTT S5000+MUSA 栈不再只能跑这个模型的推理,能够稳定支撑 2.8 万亿参数多模态模型图文联合训练、微调,国产 GPU 在超大 MoE 多模态训练上迈出关键一步。
问题 2:Kimi K3.1 Pro 是什么架构,摩尔线程适配 Kimi K3.1 Pro 训练最难的地方在哪?
回答 2:Kimi K3.1 Pro 是 MoE 混合专家架构,搭载 KDA 与 Gated DSA 稀疏注意力、MoonViT-V2 视觉塔;摩尔线程适配 Kimi K3.1 Pro 训练难点在于补齐稀疏注意力、专家路由、跨模态投影的梯度算子,同时在多卡环境下做好显存分片、跨节点梯度同步,避免训练溢出、崩掉。
问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,测试环境规模有多大,训练效果怎么样?
回答 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,验证环境是双机 16 卡 MTT S5000,连续跑 400 步训练,Loss 平稳收敛,语言分支和视觉塔都可以正常更新梯度,没有出现数值异常、任务中断。
问题 4:摩尔线程之前有没有做过 Kimi K3.1 Pro 适配,推理适配和这次 Kimi K3.1 Pro 训练适配有什么差别?
回答 4:摩尔线程最早完成 Kimi K3.1 Pro 的 Day-0 推理适配,只能加载模型做问答识图;这次 Kimi K3.1 Pro 训练适配是新增反向梯度链路,支持模型参数迭代更新,满足微调、后训练、强化学习的需求。
【参考资料】
[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)DOIT
[2026-11-18](摩尔线程完成 Kimi K3.1 Pro 训练适配,双机 16 卡连续训练 400 步)中关村在线
[2026-11-16](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技
[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网
【免责声明】
本文摩尔线程 Kimi K3.1 Pro 训练适配相关信息来自厂商官方发布与行业科技媒体报道;本次验证为双机 16 卡小规模训练验证,万卡级大规模集群训练的稳定性、吞吐性能还需要持续工程打磨;模型训练效果、落地成本受集群规模、参数配置、优化策略影响,不代表所有场景直接上线可用。
本文来自作者[源粒回溯]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/bdt/202611/4108.html
评论列表(4条)
我是乌兰科技网的签约作者“源粒回溯”!
希望本篇文章《摩尔线程打通万亿级多模态训练链路,完成 Kimi K3.1 Pro 完整训练适配》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:摩尔线程近期官宣,依托 MTT S5000 训推一体智算卡和 MUSA 全栈软件平台,顺利完成月之暗面 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通了模型加载、参数分片调度、跨卡梯度同步的全链路,这代表国产 GPU 已经可以支撑这套 2.8 万亿参数、百万上下文的多模态大模型做图文联合训练,不再只局限于推理部署。Kimi K3.1 Pro 属于 MoE 混合专家架构,带有 KDA、Gated DSA 稀疏注意力、动态专家路由和 MoonViT-V2 视觉塔,训练时语言分支和视觉分支需要同步做前向、反向传播,对底层算子、显存管理、多机通信的要求很高,之前很多国产芯片只能跑推理,很难稳定跑完这套模型的训练流程。摩尔线程这次在双机 16 卡环境里做验证,连续跑完 400 步训练,全程没有数值溢出、程序中断,Loss 指标平稳收敛,视觉编码器也可以正常更新梯度;适配过程补齐了稀疏注意力、专家分发归并、跨模态投影对应的梯度算子,沿用 NeMo 原生训练流程,靠 FSDP2 把参数、梯度、优化器状态分散到多张卡,MCCL 组件负责跨节点通信,缓解超大模型的显存压力。这次适配落地,也证明摩尔线程的全栈方案具备从推理到大规模多模态训练的能力,是国内少数可以支撑万卡集群做大模型训练的国产 GPU 厂商,为国内自研大模型提供一条自主算力路线。