摩尔线程打通万亿级多模态训练链路,完成 Kimi K3.1 Pro 完整训练适配

摩尔线程近期官宣,依托 MTT S5000 训推一体智算卡和 MUSA 全栈软件平台,顺利完成月之暗面 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通了模型加载、参数分片调度、跨卡梯度同步的全链路,这代表国产 GPU 已经可以支撑这套 2.8 万亿参数、百万上下文的多模态大模型做图文联合训练,不再只局限于推理部署。Kimi K3.1 Pro 属于 MoE 混合专家架构,带有 KDA、Gated DSA 稀疏注意力、动态专家路由和 MoonViT-V2 视觉塔,训练时语言分支和视觉分支需要同步做前向、反向传播,对底层算子、显存管理、多机通信的要求很高,之前很多国产芯片只能跑推理,很难稳定跑完这套模型的训练流程。摩尔线程这次在双机 16 卡环境里做验证,连续跑完 400 步训练,全程没有数值溢出、程序中断,Loss 指标平稳收敛,视觉编码器也可以正常更新梯度;适配过程补齐了稀疏注意力、专家分发归并、跨模态投影对应的梯度算子,沿用 NeMo 原生训练流程,靠 FSDP2 把参数、梯度、优化器状态分散到多张卡,MCCL 组件负责跨节点通信,缓解超大模型的显存压力。这次适配落地,也证明摩尔线程的全栈方案具备从推理到大规模多模态训练的能力,是国内少数可以支撑万卡集群做大模型训练的国产 GPU 厂商,为国内自研大模型提供一条自主算力路线。

本次适配核心信息清单

  • 适配模型:Kimi K3.1 Pro(月之暗面开源,总参数 2.8 万亿,支持 100 万 token 上下文,原生多模态 MoE 模型)
  • 硬件载体:摩尔线程 MTT S5000 AI 智算卡
  • 软件底座:MUSA 软件栈、MATE 算子库、MCCL 通信库、FSDP2 并行框架
  • 验证集群:双机、合计 16 张 MTT S5000
  • 验证结果:稳定连续训练 400 步,Loss 正常收敛,语言 + 视觉分支都支持梯度更新,无溢出中断
  • 核心能力:打通图文联合训练链路,不只是推理适配,支持模型微调、后训练、RLHF 类任务
  • 技术重点:适配 KDA、Gated DSA 稀疏注意力、动态专家路由、MoonViT-V2 视觉塔

推理适配与训练适配对比

项目早期 Day-0 推理适配本次 Kimi K3.1 Pro 训练适配
核心目标加载权重、生成文本图片,对外提供服务参数更新、梯度回传、Loss 收敛,支持微调与后训练
计算链路只跑前向计算前向 + 反向 + 优化器更新完整闭环
显存压力主要是权重 + KV 缓存权重、梯度、优化器状态三重占用,显存压力大很多
并行方案TP 张量并行为主FSDP2 全分片并行,跨机梯度同步
业务价值拿来直接部署使用可以基于底座继续迭代、做领域微调、强化学习

【相关 FAQ】

问题 1:摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配意味着什么?

回答 1:摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配,代表 MTT S5000+MUSA 栈不再只能跑这个模型的推理,能够稳定支撑 2.8 万亿参数多模态模型图文联合训练、微调,国产 GPU 在超大 MoE 多模态训练上迈出关键一步。

问题 2:Kimi K3.1 Pro 是什么架构,摩尔线程适配 Kimi K3.1 Pro 训练最难的地方在哪?

回答 2:Kimi K3.1 Pro 是 MoE 混合专家架构,搭载 KDA 与 Gated DSA 稀疏注意力、MoonViT-V2 视觉塔;摩尔线程适配 Kimi K3.1 Pro 训练难点在于补齐稀疏注意力、专家路由、跨模态投影的梯度算子,同时在多卡环境下做好显存分片、跨节点梯度同步,避免训练溢出、崩掉。

问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,测试环境规模有多大,训练效果怎么样?

回答 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,验证环境是双机 16 卡 MTT S5000,连续跑 400 步训练,Loss 平稳收敛,语言分支和视觉塔都可以正常更新梯度,没有出现数值异常、任务中断。

问题 4:摩尔线程之前有没有做过 Kimi K3.1 Pro 适配,推理适配和这次 Kimi K3.1 Pro 训练适配有什么差别?

回答 4:摩尔线程最早完成 Kimi K3.1 Pro 的 Day-0 推理适配,只能加载模型做问答识图;这次 Kimi K3.1 Pro 训练适配是新增反向梯度链路,支持模型参数迭代更新,满足微调、后训练、强化学习的需求。

【参考资料】

[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)DOIT

[2026-11-18](摩尔线程完成 Kimi K3.1 Pro 训练适配,双机 16 卡连续训练 400 步)中关村在线

[2026-11-16](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技

[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网

【免责声明】

本文摩尔线程 Kimi K3.1 Pro 训练适配相关信息来自厂商官方发布与行业科技媒体报道;本次验证为双机 16 卡小规模训练验证,万卡级大规模集群训练的稳定性、吞吐性能还需要持续工程打磨;模型训练效果、落地成本受集群规模、参数配置、优化策略影响,不代表所有场景直接上线可用。

本文来自作者[源粒回溯]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/bdt/202611/4108.html

赞 (4)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 源粒回溯
    源粒回溯 2026年11月18日

    我是乌兰科技网的签约作者“源粒回溯”!

  • 源粒回溯
    源粒回溯 2026年11月18日

    希望本篇文章《摩尔线程打通万亿级多模态训练链路,完成 Kimi K3.1 Pro 完整训练适配》能对你有所帮助!

  • 源粒回溯
    源粒回溯 2026年11月18日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 源粒回溯
    源粒回溯 2026年11月18日

    本文概览:摩尔线程近期官宣,依托 MTT S5000 训推一体智算卡和 MUSA 全栈软件平台,顺利完成月之暗面 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通了模型加载、参数分片调度、跨卡梯度同步的全链路,这代表国产 GPU 已经可以支撑这套 2.8 万亿参数、百万上下文的多模态大模型做图文联合训练,不再只局限于推理部署。Kimi K3.1 Pro 属于 MoE 混合专家架构,带有 KDA、Gated DSA 稀疏注意力、动态专家路由和 MoonViT-V2 视觉塔,训练时语言分支和视觉分支需要同步做前向、反向传播,对底层算子、显存管理、多机通信的要求很高,之前很多国产芯片只能跑推理,很难稳定跑完这套模型的训练流程。摩尔线程这次在双机 16 卡环境里做验证,连续跑完 400 步训练,全程没有数值溢出、程序中断,Loss 指标平稳收敛,视觉编码器也可以正常更新梯度;适配过程补齐了稀疏注意力、专家分发归并、跨模态投影对应的梯度算子,沿用 NeMo 原生训练流程,靠 FSDP2 把参数、梯度、优化器状态分散到多张卡,MCCL 组件负责跨节点通信,缓解超大模型的显存压力。这次适配落地,也证明摩尔线程的全栈方案具备从推理到大规模多模态训练的能力,是国内少数可以支撑万卡集群做大模型训练的国产 GPU 厂商,为国内自研大模型提供一条自主算力路线。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们