傲腾内存替代显存,纯 CPU 本地跑 2.8 万亿参数 Kimi K3,散热风险极高差点烧坏主板

有玩家不靠高端显卡,用傲腾持久内存补齐大容量内存缺口,在纯 CPU 平台成功跑通 2.8 万亿参数的 Kimi K3 大模型,但是这套方案的散热压力巨大,傲腾满载发热非常猛,如果没有强力散热,很容易烤坏周边内存甚至主板插槽,所以玩家提醒必须给傲腾加装主动散热。Kimi K3 是 2.8 万亿参数的 MoE 混合专家模型,就算做 1-bit 量化,也至少需要 610GB 的内存空间,普通 DDR5 内存配齐这么大容量成本很高,二手第二代傲腾 PMem200 持久内存单位容量价格便宜很多,刚好用来放下模型权重;整套平台选用 40 核第三代至强 CPU,傲腾设置成 App Direct 模式,直接映射成持久内存存放模型张量;但傲腾模组满载功耗不低、发热量集中,测试时玩家上了两台 12W 涡轮风扇直吹傲腾,缺少这个散热条件,高温会传导到旁边普通内存,严重时熔坏主板插槽;性能方面速度偏慢,1-bit 量化条件下推理速度只有 0.85 token/s,只能用来做技术验证,没法日常流畅使用。

整套硬件清单

  • 处理器:40 核第三代英特尔至强可扩展 CPU
  • 扩容内存:第二代傲腾持久内存 PMem 200(128GB~512GB 单条)
  • 模式:App Direct 持久内存模式
  • 散热配置:双 12W 涡轮风扇直吹傲腾内存位
  • 无独立 GPU,纯 CPU 推理

Kimi K3 部署关键参数

  • 总参数量:2.8 万亿(MoE 稀疏架构,单次推理只激活部分参数)
  • 最低内存需求:量化后≥610GB
  • 本次量化规格:1-bit 量化
  • 实测推理速度:0.85 token/s

方案优缺点

✅ 优点

  • 用二手傲腾大幅降低超大容量内存的搭建成本
  • 不需要高端 AI 显卡,普通服务器 CPU 就能完成本地加载推理
  • 适合爱好者做本地大模型技术验证

❌ 缺点

  • 傲腾发热极强,强制主动散热是硬性要求
  • 推理速度很慢,实用性差
  • 傲腾已经停产,货源都是二手,有老化风险
  • 仅支持搭配对应代际至强平台,普通家用主板不能直接使用

【相关 FAQ】

问题 1:傲腾内存凑显存跑 2.8 万亿参数 Kimi K3 是什么原理?

回答 1:傲腾内存凑显存跑 2.8 万亿参数 Kimi K3,本质是用傲腾持久内存充当大容量内存,放下 Kimi K3 量化后的模型权重,不用 GPU 显存,依靠纯 CPU 完成模型推理计算。

问题 2:纯 CPU 跑 2.8 万亿参数 Kimi K3 为什么容易烧坏主板?

回答 2:纯 CPU 跑 2.8 万亿参数 Kimi K3 时傲腾模组满载发热巨大,热量集中在内存插槽区域,没有强力风扇散热,高温会烘烤周边普通内存和主板插槽,严重时会损伤主板。

问题 3:傲腾内存跑 2.8 万亿参数 Kimi K3 的速度怎么样?

回答 3:傲腾内存跑 2.8 万亿参数 Kimi K3 在 1-bit 量化下实测只有 0.85 token/s,速度很慢,只适合技术测试,不适合日常对话使用。

问题 4:普通家用电脑能不能用傲腾内存跑 2.8 万亿参数 Kimi K3?

回答 4:普通家用电脑不能直接用傲腾内存跑 2.8 万亿参数 Kimi K3,第二代傲腾 PMem200 只兼容第三代至强服务器平台,家用消费级主板不支持。

【参考资料】

[2026-11-09](显存不够傲腾凑!纯 CPU 跑 2.8 万亿参数 Kimi K3:差点把主板烧了)太平洋科技

[2026-11-09](纯 CPU + 二手傲腾内存成功运行 2.8 万亿参数 Kimi K3 大模型)中关村在线

[2026-11-08](Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone)Tom's Hardware

【免责声明】

本内容仅整理爱好者 DIY 测试的公开信息,傲腾内存高温改装方案风险很高,私自复刻该方案造成主板、内存烧毁等硬件损坏需要自行承担损失;傲腾二手货源不稳定、Kimi K3 本地推理速度有限,该方案仅用于技术研究,不推荐普通用户复刻,本文不构成硬件采购、本地部署指导和购买建议。

本文来自作者[旋场计时使]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/shuma/202611/572.html

赞 (4)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 旋场计时使
    旋场计时使 2026年11月09日

    我是乌兰科技网的签约作者“旋场计时使”!

  • 旋场计时使
    旋场计时使 2026年11月09日

    希望本篇文章《傲腾内存替代显存,纯 CPU 本地跑 2.8 万亿参数 Kimi K3,散热风险极高差点烧坏主板》能对你有所帮助!

  • 旋场计时使
    旋场计时使 2026年11月09日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 旋场计时使
    旋场计时使 2026年11月09日

    本文概览:有玩家不靠高端显卡,用傲腾持久内存补齐大容量内存缺口,在纯 CPU 平台成功跑通 2.8 万亿参数的 Kimi K3 大模型,但是这套方案的散热压力巨大,傲腾满载发热非常猛,如果没有强力散热,很容易烤坏周边内存甚至主板插槽,所以玩家提醒必须给傲腾加装主动散热。Kimi K3 是 2.8 万亿参数的 MoE 混合专家模型,就算做 1-bit 量化,也至少需要 610GB 的内存空间,普通 DDR5 内存配齐这么大容量成本很高,二手第二代傲腾 PMem200 持久内存单位容量价格便宜很多,刚好用来放下模型权重;整套平台选用 40 核第三代至强 CPU,傲腾设置成 App Direct 模式,直接映射成持久内存存放模型张量;但傲腾模组满载功耗不低、发热量集中,测试时玩家上了两台 12W 涡轮风扇直吹傲腾,缺少这个散热条件,高温会传导到旁边普通内存,严重时熔坏主板插槽;性能方面速度偏慢,1-bit 量化条件下推理速度只有 0.85 token s,只能用来做技术验证,没法日常流畅使用。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们