打通万亿多模态训练链路,摩尔线程完成 Kimi K3.1 Pro 训练适配

摩尔线程官方宣布,基于 MTT S5000 训推一体智算卡和自研 MUSA 软件栈,已经完成 Kimi K3.1 Pro 的训练适配,打通这款 2.8 万亿参数原生多模态 MoE 模型从加载、分片调度、前向反向计算到梯度同步的完整训练链路,不再只停留在推理部署层面;测试采用双机 16 卡集群,连续稳定跑完 400 步训练,没有数值溢出、异常中断,视觉分支也正常完成梯度更新,验证了国产 GPU 可以支撑带 KDA、DSA 稀疏注意力、MoonViT-V2 视觉编码器的复杂多模态大模型训练,补齐了国产算力跑前沿万亿级多模态模型的重要一环,下面把模型基础信息、测试配置、适配技术方案、亮点和风险拆开说明。

一、Kimi K3.1 Pro 基础模型信息

项目参数
总参数量2.8 万亿(MoE 混合专家架构)
激活参数单次推理约 104B
上下文窗口100 万 Token
核心架构KDA+Gated DSA 混合稀疏注意力,896 路由专家 + 2 共享专家,Top-16 激活
视觉模块MoonViT-V2 视觉编码器,401M 参数
量化方案MXFP4 专家权重、FP8 激活量化感知训练
模型类型原生多模态,图文联合训练、支持 Agent 工具调用

二、本次训练适配测试配置

  • 硬件:双服务器,合计 16 张 MTT S5000 智算卡
  • 训练框架:NeMo AutoModel,原生 FSDP2 分布式分片方案
  • 通信组件:MCCL 摩尔线程集合通信库
  • 测试模型版本:13 层语言主干、16 路由专家,保留完整 27 层视觉塔、跨模态投影
  • 数据集:MedPix-VQA 图文多模态数据集
  • 全局 batch:16,序列长度 1024
  • 显存峰值:44.80GiB
  • 训练结果:连续 400 步无中断,Loss 持续下行,验证集 Loss 同步收敛

三、核心适配技术要点

  1. 混合注意力链路适配:针对 KDA、DSA 稀疏注意力,完成 KV 缓存布局、Prefill、Decode 训练路径迁移,接入 MATE 稀疏算子库,解决稀疏索引、动态检索的计算调度问题
  2. MoE 专家路由适配:完成 MXFP4 权重在线转换、专家动态路由调度,不需要提前离线转换权重包,降低模型迁移成本
  3. 跨模态链路打通:视觉编码器、跨模态投影层和语言主干统一接入前向、反向、梯度更新流程,图文数据可以一起参与联合训练
  4. 分布式显存优化:FSDP2 分片把模型参数、梯度、优化器状态分散到多张卡,降低单卡显存压力,MCCL 负责跨卡、跨节点梯度同步
  5. 编译器与算子栈:依托 MTCC 编译器、Triton-MUSA、TileLang-MUSA,完成新增算子编译接入,复用成熟 SGLang-MUSA 推理底座

四、推理和训练两次适配的区别

  • 早期 Day-0 适配:只做推理链路,完成模型加载、图文对话服务,验证模型可以跑起来对外输出结果
  • 本次训练适配:打通完整训练链路,支持反向传播、梯度更新、Loss 收敛,具备微调、续训的能力,是更难的工程验证

五、亮点与风险

✅ 亮点

  1. 国产 GPU 实现万亿级多模态 MoE 模型完整训练链路打通,不再只能做推理,对国产算力生态意义很大
  2. 稀疏注意力、动态专家路由、图文联合训练这类前沿复杂机制全部适配,适配的是当前最前沿的开源多模态模型
  3. 双机 16 卡长时间稳定训练,Loss 收敛正常,证明 MUSA 软件栈分布式通信、显存管理能力达标
  4. 复用 NeMo 原生训练流程,上游代码改动量小,其他机构在 MTT S5000 集群上做 Kimi K3.1 Pro 微调门槛更低

⚠️ 风险点

  1. 本次是裁剪版本验证测试,不是全 93 层完整大模型大规模长周期训练,完整全量训练还需要更大集群验证
  2. MoE 模型训练 MFU 相比稠密模型偏低,大规模集群下的扩展效率、长期稳定性还需要更多实测
  3. MXFP4 这类新型量化格式,在国产栈上的生态工具链还在持续完善
  4. 训练适配不代表直接商用落地,大规模训推需要配套存储、调度、容错整套集群方案

六、上手使用参考步骤

  1. 确认硬件底座:MTT S5000 智算卡集群,多节点环境需要 MCCL 互联环境
  2. 环境部署:部署 MUSA 驱动、MATE 算子库、Triton-MUSA、NeMo 框架
  3. 模型准备:加载 Kimi K3.1 Pro 权重,开启在线 MXFP4 权重转换,不用离线预处理
  4. 训练配置:启用 FSDP2 分片,配置稀疏注意力、DSA 索引、视觉分支参数
  5. 启动训练:图文数据集接入,开启梯度裁剪、Loss 监控,观察收敛情况
  6. 后续迭代:基于收敛结果做超参调优,逐步扩配到全层、更大规模集群

【相关 FAQ】

问题 1:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,和之前 Day-0 推理适配有什么差别?

回答 1:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,推理适配只支持模型加载、对话输出;训练适配打通反向传播、梯度更新,支持模型微调、续训,难度更高,代表完整训练链路跑通。

问题 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,测试用的硬件是什么、训练稳定性怎么样?

回答 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,测试采用双机 16 张 MTT S5000 智算卡,连续跑完 400 步训练,没有数值溢出、异常中断,Loss 持续收敛,视觉分支梯度正常更新。

问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,Kimi K3.1 Pro 是什么架构?

回答 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,Kimi K3.1 Pro 是 2.8 万亿参数 MoE 多模态模型,采用 KDA+Gated DSA 混合稀疏注意力,搭载 MoonViT-V2 视觉编码器,支持百万 Token 上下文。

问题 4:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,FSDP2 起到什么作用?

回答 4:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,FSDP2 分布式分片方案用来把模型参数、梯度、优化器状态分散到多张 MTT S5000 卡上,降低单卡显存压力,支撑超大模型分布式训练。

【参考资料】

[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)中关村在线

[2026-11-16](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技

[2026-11-12](摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 大模型适配)电子发烧友网

[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网

[2026-11-04](Kimi K3.1 Pro 权重开放,算力、许可、安全一并明确)21 世纪经济报道

【免责声明】

本文内容基于摩尔线程官方信息、科技媒体公开报道整理;摩尔线程 Kimi K3.1 Pro 训练适配为双机 16 卡裁剪版本验证,不等于全参数完整大规模训练;模型训练收敛速度、集群扩展效率受数据集、超参、集群规模影响;MUSA 软件栈相关工具、算子能力仍在迭代;本文仅为技术信息解读,不构成算力采购、模型训练项目落地建议。

本文来自作者[烬棱内核]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4083.html

赞 (4)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 烬棱内核
    烬棱内核 2026年11月18日

    我是乌兰科技网的签约作者“烬棱内核”!

  • 烬棱内核
    烬棱内核 2026年11月18日

    希望本篇文章《打通万亿多模态训练链路,摩尔线程完成 Kimi K3.1 Pro 训练适配》能对你有所帮助!

  • 烬棱内核
    烬棱内核 2026年11月18日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 烬棱内核
    烬棱内核 2026年11月18日

    本文概览:摩尔线程官方宣布,基于 MTT S5000 训推一体智算卡和自研 MUSA 软件栈,已经完成 Kimi K3.1 Pro 的训练适配,打通这款 2.8 万亿参数原生多模态 MoE 模型从加载、分片调度、前向反向计算到梯度同步的完整训练链路,不再只停留在推理部署层面;测试采用双机 16 卡集群,连续稳定跑完 400 步训练,没有数值溢出、异常中断,视觉分支也正常完成梯度更新,验证了国产 GPU 可以支撑带 KDA、DSA 稀疏注意力、MoonViT-V2 视觉编码器的复杂多模态大模型训练,补齐了国产算力跑前沿万亿级多模态模型的重要一环,下面把模型基础信息、测试配置、适配技术方案、亮点和风险拆开说明。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们