无显卡纯 CPU 方案玩家用停产傲腾内存跑通 2.8 万亿参数 Kimi K3 模型

有技术玩家在社区放出测试,整套机器不装显卡,只用 40 核三代至强 CPU 搭配已经停产的第二代傲腾持久内存 PMem 200,成功本地跑起 2.8 万亿参数的 Kimi K3 混合专家大模型;Kimi K3 属于 MoE 架构,虽然总参数 2.8 万亿,但每次推理只激活大约 1040 亿参数,就算做 1bit 极致量化,模型权重也需要六百多 GB 内存空间,普通 DDR 服务器内存想要凑这么大容量成本很高,而二手傲腾单条最高 512GB,单位容量便宜很多,刚好满足超大内存需求;这个测试是极限极客玩法,不是商用方案,速度很慢,1bit 量化下每秒只能输出 0.85 个 token,3bit 量化还会降到 0.75token/s,而且傲腾发热巨大,必须额外加风扇散热,稍有不慎就会烧坏周边内存,它证明超大模型不一定必须靠显卡显存,只要有足够大容量持久内存,纯 CPU 也可以加载推理,但代价是速度、散热、稳定性都很差。

一、本次测试硬件与软件配置清单

项目详情
CPU第三代英特尔至强可扩展处理器,40 核
内存停产傲腾持久内存 PMem 200 系列(第二代傲腾)
模式App Direct 直通模式,搭配 DAX 直接访问
软件框架llama.cpp
模型Kimi K3,2.8 万亿参数 MoE 混合专家模型
量化版本1bit、3bit 量化
实测速度1bit:0.85 token/s;3bit:0.75 token/s
额外风险点单条傲腾功耗高、发热严重,必须加装强制吹风散热

二、为什么停产傲腾内存适合这次 Kimi K3 本地测试

  1. 容量优势突出:傲腾 PMem 200 单条最高 512GB,在三代至强平台上可以轻松堆出 600GB 以上内存空间,放下量化后的 Kimi K3 权重。
  2. 二手性价比高:傲腾业务英特尔已经关停,新品不再生产,二手流通价格远低于同容量 DDR4 服务器内存,适合爱好者低成本搭建超大内存主机。
  3. 支持 App Direct 模式:可以直接被程序当成主内存读写,不是普通 SSD 缓存,llama.cpp 能够直接把模型权重放进傲腾空间运行。
  4. 非易失特性:断电之后数据不会丢失,反复加载模型可以节省一部分加载时间。

三、Kimi K3 模型本身特点

  1. 架构:MoE 混合专家,总参数 2.8 万亿,单次推理只激活一小部分专家参数,不是全部参数同时运算。
  2. 上下文:原生支持百万级超长上下文窗口。
  3. 门槛:哪怕 1bit 压缩,也需要数百 GB 内存,普通家用电脑根本达不到。
  4. 定位:开源超大模型,适合本地部署测试,常规商用推理还是 GPU 为主。

四、整套部署操作步骤

  1. 平台准备:选用支持傲腾 PMem 200 的三代至强服务器主板,装好傲腾内存,在 BIOS 里设置为 App Direct 模式。
  2. 散热改造:给傲腾模组加装鼓风风扇,控制温度,防止高温降频或者烧毁周边 DRAM。
  3. 系统与驱动:安装对应版本系统,加载傲腾驱动,开启 DAX 直通访问。
  4. 模型准备:下载 Kimi K3 量化版本(1bit/3bit),用 llama.cpp 加载权重文件到傲腾内存空间。
  5. 推理测试:启动推理服务,输入提示词,记录生成速度、稳定性。
  6. 持续监控:实时监控傲腾温度,长时间任务要避免过热保护关机。

五、认知避坑要点

  • 误区 1:这个方案可以替代显卡跑 Kimi K3 商用
  • 误区 2:普通家用主板也能上傲腾跑 Kimi K3
  • 误区 3:傲腾是普通高速固态,和 SSD 原理一样
  • 误区 4:速度慢是因为 Kimi K3 模型本身问题
  • 误区 5:傲腾现在还有全新官方供货

事实:速度非常慢,长文本任务耗时极久,只适合爱好者做技术验证,完全不适合商用。

事实:只有特定三代至强服务器平台支持傲腾 PMem,消费主板不兼容。

事实:傲腾是持久内存,可以直接当内存寻址,和 SSD 走存储通道不一样,延迟、使用方式都不同。

事实:瓶颈是傲腾内存读写带宽、CPU 算力不足,显卡的高并行算力才是大模型提速关键。

事实:英特尔 2022 年就宣布关停傲腾业务,现在市面上流通的都是二手拆机件。

【相关 FAQ】

问题 1:玩家不用显卡,依靠停产傲腾内存跑起 2.8 万亿参数 Kimi K3 AI 模型,这套方案的速度怎么样?

回答 1:玩家不用显卡、依靠停产傲腾内存跑起 2.8 万亿参数 Kimi K3 AI 模型,1bit 量化下每秒仅 0.85 个 token,3bit 量化低至 0.75token/s,生成速度很慢,只适合技术验证,不适合实际使用。

问题 2:跑 2.8 万亿参数 Kimi K3 为什么优先选用停产傲腾 PMem 200,而不是普通 DDR 内存?

回答 2:跑 2.8 万亿参数 Kimi K3 需要几百 GB 内存,停产傲腾 PMem 200 单条最高 512GB,二手价格比同容量 DDR 服务器内存便宜很多,并且支持 App Direct 直通模式,能够被 llama.cpp 直接作为主内存加载模型。

问题 3:用停产傲腾内存无显卡跑 Kimi K3,最大的风险是什么?

回答 3:用停产傲腾内存无显卡跑 Kimi K3 最大风险是傲腾模组发热很高,如果没有强制吹风散热,容易高温降频,甚至烧坏旁边的内存模组,稳定性差。

问题 4:Kimi K3 是 2.8 万亿参数模型,为什么这套傲腾 CPU 方案可以跑起来?

回答 4:Kimi K3 是 MoE 混合专家架构,2.8 万亿是总参数,推理时只激活一小部分参数,再搭配 1bit 量化压缩,权重内存需求下降,停产傲腾内存刚好提供足够大容量内存空间,所以纯 CPU 可以加载运行。

【参考资料】

[2026-11-13](玩家不用显卡,靠停产傲腾内存跑起 2.8 万亿参数 Kimi K3 AI 模型)中关村在线

[2026-11-12](Homelabber Runs Massive 2.8-Trillion-Parameter AI Model On Discontinued Intel Optane Memory)Tom’s Hardware

[2026-11-09](显存不够傲腾凑!纯 CPU 跑 2.8 万亿参数 Kimi K3)太平洋科技

[2026-11-09](无显卡,傲腾内存本地部署 Kimi K3 大模型)快科技

[2026-07-17](Kimi K3 正式发布,2.8 万亿参数 MoE 大模型)月之暗面 Kimi 官网

【免责声明】

本文内容基于海外社区测试分享、媒体公开报道整理,停产傲腾内存无显卡运行 Kimi K3 属于爱好者极限实验,不是官方推荐部署方案;傲腾内存属于停产二手配件,兼容性、质保、散热风险较高,Kimi K3 量化版本输出效果、推理速度会明显低于 GPU 方案;本文仅做技术科普,不指导大家自行搭建该方案,也不构成硬件采购、本地部署投资建议。

本文来自作者[锐矢快照]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/shuma/202611/2366.html

赞 (5)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 锐矢快照
    锐矢快照 2026年11月13日

    我是乌兰科技网的签约作者“锐矢快照”!

  • 锐矢快照
    锐矢快照 2026年11月13日

    希望本篇文章《无显卡纯 CPU 方案玩家用停产傲腾内存跑通 2.8 万亿参数 Kimi K3 模型》能对你有所帮助!

  • 锐矢快照
    锐矢快照 2026年11月13日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 锐矢快照
    锐矢快照 2026年11月13日

    本文概览:有技术玩家在社区放出测试,整套机器不装显卡,只用 40 核三代至强 CPU 搭配已经停产的第二代傲腾持久内存 PMem 200,成功本地跑起 2.8 万亿参数的 Kimi K3 混合专家大模型;Kimi K3 属于 MoE 架构,虽然总参数 2.8 万亿,但每次推理只激活大约 1040 亿参数,就算做 1bit 极致量化,模型权重也需要六百多 GB 内存空间,普通 DDR 服务器内存想要凑这么大容量成本很高,而二手傲腾单条最高 512GB,单位容量便宜很多,刚好满足超大内存需求;这个测试是极限极客玩法,不是商用方案,速度很慢,1bit 量化下每秒只能输出 0.85 个 token,3bit 量化还会降到 0.75token s,而且傲腾发热巨大,必须额外加风扇散热,稍有不慎就会烧坏周边内存,它证明超大模型不一定必须靠显卡显存,只要有足够大容量持久内存,纯 CPU 也可以加载推理,但代价是速度、散热、稳定性都很差。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们