摩尔线程 Day-0 适配 Kimi-K3.1 Pro6 台国产 GPU 服务器,跑起 3 万亿参数模型

已核对摩尔线程官方发布、IT 之家与界面新闻的转述,以及 Pandaily 的英文报道;权重规模、显存算术与跑分差值均已复算。

11 月 6 日,摩尔线程官宣:基于 AI 训推一体智算卡 MTT S5000 和 MUSA 软件栈,完成 Kimi K3.1 Pro 的 Day-0 适配,打通了模型加载、服务启动、文本与图片基础推理三条链路。官方给出的实测口径是 “6 台 MTT S5000 服务器完成文本与图片首跑”,模型能中文介绍自己的身份和能力,也能描述输入图片的主要内容。被适配的模型是月之暗面 K3.1 系列首款、总参数 2.8 万亿的 MoE 旗舰,单次推理激活约 1040 亿参数、100 万 token 上下文;官方宣称它在 Terminal-Bench 4.0 拿到 65.7%,与 Claude Opus 5.5 的 66.4% 只差 0.7 个百分点。IT之家 但要说清楚:这是一次 “能跑通” 的工程交付,不是 “跑得快” 的性能发布 —— 吞吐、延迟、功耗、具体卡数,官方一个都没给。

一、这件事的准确定义,一张表看清

维度官方给出的信息说明
时间2026 年 11 月 6 日发布模型权重 11 月初开放(报道口径 11 月 4—5 日)
硬件MTT S5000 AI 训推一体智算卡第四代 MUSA “平湖” 架构,80GB 显存、1.6TB/s 带宽
软件MUSA 软件栈SGLang-MUSA、MATE、Triton-MUSA、TileLang-MUSA、MTCC
做到什么模型加载、服务启动、文本推理、图片推理基础链路打通,非全功能覆盖
规模6 台 MTT S5000 服务器首跑每台卡数未披露
没给什么吞吐、首 token 延迟、并发数、功耗、卡数无法做性能对比

二、“3 万亿级” 是宣传口径,2.8 万亿才是参数数

指标数值怎么理解
宣传口径3 万亿级取整说法,指 “万亿量级中的最高一档”
总参数2.8 万亿技术报告与模型卡的实际数字
单次激活约 1040 亿MoE 稀疏激活,实际算的是这一部分
上下文100 万 token长文档、整库代码、长程 Agent 场景
架构大规模稀疏 MoE + KDA 线性注意力与 DSA 稀疏注意力混合决定了适配难在哪

这也解释了为什么 “3 万亿参数能塞进 6 台服务器” 并不神奇:真正吃显存的是 2.8 万亿的权重,真正吃算力的是每次只激活的 1040 亿。

三、万亿模型上国产卡,难的是这四条链路

链路难点摩尔线程的做法
DSA 稀疏注意力索引怎么选、KV 缓存怎么排、Prefill 与 Decode 两条路径都要改完成索引选择与 KV 布局适配,接入 MATE 稀疏注意力算子
KDA 状态管理线性注意力用递归状态压缩历史,状态要能分配、原地更新、快照、恢复与跨层残差、视觉 Attention 串成完整执行链
MXFP4 专家权重4bit 权重直接用,常规做法要先离线转成 FP8 完整副本,耗时又占盘在线转换 + 跨层复用 FP8 工作区,不预生成离线权重
多机多卡通信专家并行要做 token dispatch、combine、跨卡 All-to-All靠 MCCL、DeepEP、MTSHMEM、Mooncake 协同承载

第四条尤其关键:模型能 “加载起来” 和能 “对外服务”,中间隔着的就是通信与显存管理。

四、6 台服务器为什么够用,算一遍就明白

精度权重体积(2.8 万亿参数)说明
FP8(1 字节 / 参数)约 2.8 TB需要 35 张 80GB 卡才装得下权重
MXFP4(约 0.5 字节 / 参数)约 1.4 TB约 18 张 80GB 卡即可装下权重
6 台 × 8 卡 × 80GB(按常见配置估算)约 3.75 TB 显存权重之外还留给 KV 缓存、激活与通信缓冲

按这个算术,6 台机器(约 48 张卡)刚好能压住 4bit 权重,再挤出空间放 KV 缓存 ——这不是 “优化得好”,而是 “算得过来”。真正的变量在上下文:100 万 token 的长上下文 KV 缓存会迅速吃掉剩余显存,官方既没给并发数,也没给实际上下文长度,所以 “6 台能服务多少用户” 无法复算。

五、Day-0 有五个段位,这次到了第几层

段位标准本次情况
能加载权重读得进、不 OOM已达成
能服务服务起得来、文本图片能出结果已达成
能优化有吞吐、延迟、并发实测数据未披露
能规模多机多卡线性扩展、长稳运行部分(6 台首跑)
能对标与国际旗舰同任务同口径对比未披露

官方自己写的是 “后续将持续推进核心算子、显存管理与多机通信优化”,这句话恰好承认了:现在在第二段位,第三段位还在路上。

六、同一时间窗口,国产算力在集体 “抢首发”

  • 华为昇腾:11 月 5 日宣布 0 Day 支持 Kimi K3.1 Pro 推理部署,覆盖 Atlas A3 与昇腾 950 SuperPoD。
  • 阿里云:灵骏真武 M890 支持 K3.1 Pro,已开公测。
  • 摩尔线程:11 月 6 日宣布 Day-0,路线是 MTT S5000 单卡 + MUSA 软件栈。

三家的共同点是:比的已经不是 “有没有卡”,而是 “权重开放后多久能上线”。 这个指标对买卡的人比参数更有意义 —— 它决定了你拿到新模型的速度。

七、对开发者来说,这件事的实际价值

  • 多了一个部署选项:想跑 2.8 万亿开源模型,除了国际旗舰卡,现在有国产全功能 GPU 这条路。
  • 长上下文有戏:100 万 token 是这类模型的主打场景,国产卡能不能扛住长上下文,接下来就看 KV 缓存优化的实测。
  • 成本是变量:官方提到要 “提供更具性价比的 Token 服务”,这是目标,不是已经实现的结果。
  • 迁移成本在下降:MUSA 原生适配 PyTorch、Megatron-LM、vLLM、SGLang,代码迁移的门槛比两年前低很多。

想自己验证,按这张清单来:

  1. 先确认模型权重版本与许可证,别拿 K3 的权重测 K3.1 Pro 的结论;
  2. 用官方给的 SGLang-MUSA 路径起服务,先跑通单机再上多机;
  3. 记录首 token 延迟、输出吞吐、显存峰值三项,缺一项就无法判断可用性;
  4. 长上下文单独测:32K、128K、1M 三档,看显存曲线在哪一档崩;
  5. 图片推理单独测,多模态链路和纯文本链路的瓶颈不一样;
  6. 对比同任务下的国际旗舰卡,口径要一致(同上下文、同并发)。

八、三处该打问号的地方

  • “Day-0” 是厂商自己的定义。 官方定义为 “权重开放当天完成适配”,但 “适配” 到什么程度没有统一标准,能加载算不算、能出结果算不算,各家口径不一。
  • 没有任何性能数字。 连官方视频都标注了 “中段经过变速剪辑,仅展示交互过程,不代表实际推理速度”,这句话本身就是提醒。
  • “6 台服务器” 缺关键参数。 每台几卡、什么互联、跑多长上下文、并发多少,都没给;没有这些,“6 台跑起 3 万亿” 只能当工程能力证明,不能当性能结论。

【相关 FAQ】

问题 1:摩尔线程这次适配 Kimi-K3.1 Pro,具体做到了哪一步?

回答 1:摩尔线程基于 MTT S5000 与 MUSA 软件栈完成 Day-0 适配,打通模型加载、服务启动和文本、图片基础推理三条链路,并用 6 台服务器完成 Kimi-K3.1 Pro 首跑,但吞吐、延迟等性能数据尚未披露。

问题 2:Kimi-K3.1 Pro 是 3 万亿参数,为什么 6 台国产 GPU 服务器就能跑?

回答 2:因为 Kimi-K3.1 Pro 是 MoE 架构,总参数 2.8 万亿、单次只激活约 1040 亿,权重按 MXFP4 约 1.4TB;6 台按 8 卡 80GB 估算约 3.75TB 显存,装下权重后再留出 KV 缓存空间,所以 6 台能跑 Kimi-K3.1 Pro,但能服务多少并发仍取决于上下文长度。

问题 3:摩尔线程适配 Kimi-K3.1 Pro 时,最难的技术点是什么?

回答 3:是让 2.8 万亿参数的 Kimi-K3.1 Pro 在多机多卡上稳定服务:DSA 稀疏注意力的 KV 布局、KDA 状态管理、MXFP4 权重的在线转换,以及专家并行的跨卡通信,四项缺一项都起不来。

问题 4:国产 GPU 适配 Kimi-K3.1 Pro,对普通开发者有什么实际影响?

回答 4:最直接的是多了一个部署选项:想本地或私有化跑 2.8 万亿的 Kimi-K3.1 Pro,除了国际旗舰卡,也可以用 MTT S5000 加 MUSA 软件栈;但当前只到 “能跑通”,性价比要看后续长上下文与并发的实测。

【参考资料】

[2026-11-07](Moore Threads Adds Day-Zero Kimi K3.1 Pro Support on MTT S5000 GPUs)Pandaily

[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程

[2026-11-06](Day-0 支持:摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)IT 之家

[2026-11-06](摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配)界面新闻

[2026-11-06](摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配)同花顺财经

【免责声明】

本文依据摩尔线程官方发布、IT 之家与界面新闻转述及 Pandaily 英文报道整理;“3 万亿级” 为厂商宣传口径,实际总参数为 2.8 万亿;6 台服务器的显存总量为按常见 8 卡配置的估算,非官方披露;“Day-0 适配” 指权重开放当日的功能打通,不代表性能达标;本文仅作信息整理与技术解读,不构成采购、投资或部署建议。

本文来自作者[离子棱镜官]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/1844.html

赞 (88)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 离子棱镜官
    离子棱镜官 2026年11月12日

    我是乌兰科技网的签约作者“离子棱镜官”!

  • 离子棱镜官
    离子棱镜官 2026年11月12日

    希望本篇文章《摩尔线程 Day-0 适配 Kimi-K3.1 Pro6 台国产 GPU 服务器,跑起 3 万亿参数模型》能对你有所帮助!

  • 离子棱镜官
    离子棱镜官 2026年11月12日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 离子棱镜官
    离子棱镜官 2026年11月12日

    本文概览:已核对摩尔线程官方发布、IT 之家与界面新闻的转述,以及 Pandaily 的英文报道;权重规模、显存算术与跑分差值均已复算。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们