摩尔线程官方宣布,基于 MTT S5000 训推一体智算卡和自研 MUSA 软件栈,已经完成 Kimi K3.1 Pro 的训练适配,打通这款 2.8 万亿参数原生多模态 MoE 模型从加载、分片调度、前向反向计算到梯度同步的完整训练链路,不再只停留在推理部署层面;测试采用双机 16 卡集群,连续稳定跑完 400 步训练,没有数值溢出、异常中断,视觉分支也正常完成梯度更新,验证了国产 GPU 可以支撑带 KDA、DSA 稀疏注意力、MoonViT-V2 视觉编码器的复杂多模态大模型训练,补齐了国产算力跑前沿万亿级多模态模型的重要一环,下面把模型基础信息、测试配置、适配技术方案、亮点和风险拆开说明。
一、Kimi K3.1 Pro 基础模型信息
| 项目 | 参数 |
|---|---|
| 总参数量 | 2.8 万亿(MoE 混合专家架构) |
| 激活参数 | 单次推理约 104B |
| 上下文窗口 | 100 万 Token |
| 核心架构 | KDA+Gated DSA 混合稀疏注意力,896 路由专家 + 2 共享专家,Top-16 激活 |
| 视觉模块 | MoonViT-V2 视觉编码器,401M 参数 |
| 量化方案 | MXFP4 专家权重、FP8 激活量化感知训练 |
| 模型类型 | 原生多模态,图文联合训练、支持 Agent 工具调用 |
二、本次训练适配测试配置
- 硬件:双服务器,合计 16 张 MTT S5000 智算卡
- 训练框架:NeMo AutoModel,原生 FSDP2 分布式分片方案
- 通信组件:MCCL 摩尔线程集合通信库
- 测试模型版本:13 层语言主干、16 路由专家,保留完整 27 层视觉塔、跨模态投影
- 数据集:MedPix-VQA 图文多模态数据集
- 全局 batch:16,序列长度 1024
- 显存峰值:44.80GiB
- 训练结果:连续 400 步无中断,Loss 持续下行,验证集 Loss 同步收敛
三、核心适配技术要点
- 混合注意力链路适配:针对 KDA、DSA 稀疏注意力,完成 KV 缓存布局、Prefill、Decode 训练路径迁移,接入 MATE 稀疏算子库,解决稀疏索引、动态检索的计算调度问题
- MoE 专家路由适配:完成 MXFP4 权重在线转换、专家动态路由调度,不需要提前离线转换权重包,降低模型迁移成本
- 跨模态链路打通:视觉编码器、跨模态投影层和语言主干统一接入前向、反向、梯度更新流程,图文数据可以一起参与联合训练
- 分布式显存优化:FSDP2 分片把模型参数、梯度、优化器状态分散到多张卡,降低单卡显存压力,MCCL 负责跨卡、跨节点梯度同步
- 编译器与算子栈:依托 MTCC 编译器、Triton-MUSA、TileLang-MUSA,完成新增算子编译接入,复用成熟 SGLang-MUSA 推理底座
四、推理和训练两次适配的区别
- 早期 Day-0 适配:只做推理链路,完成模型加载、图文对话服务,验证模型可以跑起来对外输出结果
- 本次训练适配:打通完整训练链路,支持反向传播、梯度更新、Loss 收敛,具备微调、续训的能力,是更难的工程验证
五、亮点与风险
✅ 亮点
- 国产 GPU 实现万亿级多模态 MoE 模型完整训练链路打通,不再只能做推理,对国产算力生态意义很大
- 稀疏注意力、动态专家路由、图文联合训练这类前沿复杂机制全部适配,适配的是当前最前沿的开源多模态模型
- 双机 16 卡长时间稳定训练,Loss 收敛正常,证明 MUSA 软件栈分布式通信、显存管理能力达标
- 复用 NeMo 原生训练流程,上游代码改动量小,其他机构在 MTT S5000 集群上做 Kimi K3.1 Pro 微调门槛更低
⚠️ 风险点
- 本次是裁剪版本验证测试,不是全 93 层完整大模型大规模长周期训练,完整全量训练还需要更大集群验证
- MoE 模型训练 MFU 相比稠密模型偏低,大规模集群下的扩展效率、长期稳定性还需要更多实测
- MXFP4 这类新型量化格式,在国产栈上的生态工具链还在持续完善
- 训练适配不代表直接商用落地,大规模训推需要配套存储、调度、容错整套集群方案
六、上手使用参考步骤
- 确认硬件底座:MTT S5000 智算卡集群,多节点环境需要 MCCL 互联环境
- 环境部署:部署 MUSA 驱动、MATE 算子库、Triton-MUSA、NeMo 框架
- 模型准备:加载 Kimi K3.1 Pro 权重,开启在线 MXFP4 权重转换,不用离线预处理
- 训练配置:启用 FSDP2 分片,配置稀疏注意力、DSA 索引、视觉分支参数
- 启动训练:图文数据集接入,开启梯度裁剪、Loss 监控,观察收敛情况
- 后续迭代:基于收敛结果做超参调优,逐步扩配到全层、更大规模集群
【相关 FAQ】
问题 1:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,和之前 Day-0 推理适配有什么差别?
回答 1:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,推理适配只支持模型加载、对话输出;训练适配打通反向传播、梯度更新,支持模型微调、续训,难度更高,代表完整训练链路跑通。
问题 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,测试用的硬件是什么、训练稳定性怎么样?
回答 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,测试采用双机 16 张 MTT S5000 智算卡,连续跑完 400 步训练,没有数值溢出、异常中断,Loss 持续收敛,视觉分支梯度正常更新。
问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,Kimi K3.1 Pro 是什么架构?
回答 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,Kimi K3.1 Pro 是 2.8 万亿参数 MoE 多模态模型,采用 KDA+Gated DSA 混合稀疏注意力,搭载 MoonViT-V2 视觉编码器,支持百万 Token 上下文。
问题 4:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,FSDP2 起到什么作用?
回答 4:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路,FSDP2 分布式分片方案用来把模型参数、梯度、优化器状态分散到多张 MTT S5000 卡上,降低单卡显存压力,支撑超大模型分布式训练。
【参考资料】
[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)中关村在线
[2026-11-16](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技
[2026-11-12](摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 大模型适配)电子发烧友网
[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网
[2026-11-04](Kimi K3.1 Pro 权重开放,算力、许可、安全一并明确)21 世纪经济报道
【免责声明】
本文内容基于摩尔线程官方信息、科技媒体公开报道整理;摩尔线程 Kimi K3.1 Pro 训练适配为双机 16 卡裁剪版本验证,不等于全参数完整大规模训练;模型训练收敛速度、集群扩展效率受数据集、超参、集群规模影响;MUSA 软件栈相关工具、算子能力仍在迭代;本文仅为技术信息解读,不构成算力采购、模型训练项目落地建议。
本文来自作者[烬棱内核]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4083.html
评论列表(4条)
我是乌兰科技网的签约作者“烬棱内核”!
希望本篇文章《打通万亿多模态训练链路,摩尔线程完成 Kimi K3.1 Pro 训练适配》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:摩尔线程官方宣布,基于 MTT S5000 训推一体智算卡和自研 MUSA 软件栈,已经完成 Kimi K3.1 Pro 的训练适配,打通这款 2.8 万亿参数原生多模态 MoE 模型从加载、分片调度、前向反向计算到梯度同步的完整训练链路,不再只停留在推理部署层面;测试采用双机 16 卡集群,连续稳定跑完 400 步训练,没有数值溢出、异常中断,视觉分支也正常完成梯度更新,验证了国产 GPU 可以支撑带 KDA、DSA 稀疏注意力、MoonViT-V2 视觉编码器的复杂多模态大模型训练,补齐了国产算力跑前沿万亿级多模态模型的重要一环,下面把模型基础信息、测试配置、适配技术方案、亮点和风险拆开说明。