Strata 开源推理引擎落地,RTX50 系 12GB 显存显卡成功跑通 125B 千问 MoE 模型

开源推理引擎 Strata 由开发者 Niko1221 推出,依靠分层存储 + 稀疏 MoE 专家调度方案,让 RTX5070 这类只有 12GB 显存的 50 系消费级游戏显卡,本地跑通 Qwen3.8-Flash-Next 125B 混合专家大模型,整套方案把模型数据拆分到显存、系统内存、NVMe SSD 三层存储,高频专家常驻显存,其余专家放内存、大查找表放在固态,搭配投机解码提速;实测 RTX5070 在 IQ3_S 量化版本下可以达到 53token/s,更低比特 Q2_0 版本最高 94token/s,RTX5080 HOF 最高可以冲到 87.5token/s,不用专业 A 系列算力卡,普通游戏主机就能离线跑千亿参数大模型,代码以 MIT 协议开源,自带一键安装包、Web 对话界面和兼容 OpenAI 格式的本地 API,Windows、Linux 双平台都支持。

硬件配置与实测性能表

项目参数详情
引擎名称Strata
目标模型Qwen3.8-Flash-Next,125B MoE
推荐显卡RTX5070(12GB)、RTX5080、RTX5090,AMD 12GB + 显卡也兼容
最低内存32GB,推荐 64GB
硬盘需求NVMe SSD,预留 80GB 空间
IQ3_S(3.5bit)RTX5070 速度53 tok/s
Q2_0(2bit)RTX5070 速度94 tok/s
IQ3_S RTX5080 HOF 速度87.5 tok/s
开源协议MIT 协议

Strata 能在小显存显卡跑 125B 模型的核心原因

  1. MoE 稀疏激活特性,125B 模型拥有两万多个专家,每一轮生成 token 只会激活少量专家,不需要一次性把全部参数加载进显存。
  2. 三层分层调度,高频专家缓存到 VRAM,大部分专家放在系统内存,超大 n-gram 查表文件放在高速 SSD,哪里存放就在哪里计算,减少频繁搬运数据的开销。
  3. 投机解码优化,小草稿模型提前预生成候选 token,主模型一次性校验,拉高整体输出速度。
  4. 轻量化 KV 缓存管理,超长上下文的 KV 数据也会分流到内存,只保留热点部分在显存,进一步降低显存压力。

上手部署的基础步骤

  1. 准备硬件,显卡显存≥12GB,内存优先 64GB,搭配高速 NVMe 固态硬盘。
  2. 下载 Strata 一键安装包,或者拉取 GitHub 源码,选择对应系统版本。
  3. 工具自动下载量化后的 Qwen3.8-Flash-Next 模型包,文件约 83.6GB。
  4. 启动后端,打开本地 Web 页面,或者调用本地 API 接入其他 AI 工具。
  5. 初次加载会比较慢,系统短暂卡顿属于正常现象,等待缓存预热后即可稳定对话。

需要留意的短板与局限

  • 对 SSD 读写速度敏感,普通 SATA 固态会出现明显掉速,必须 NVMe 固态。
  • 速度波动比较大,取决于当前要激活的专家是否已经缓存进显存,冷访问会变慢。
  • 是量化版本模型,相比原版高精度版本存在一定效果损失。
  • 长时间高负载运行,内存和 SSD 交换频繁,主机功耗偏高。
  • 只针对这款 Qwen3.8-Flash-Next 做深度优化,不是所有 125B 大模型都可以直接跑。

【相关 FAQ】

问题 1:开源引擎 Strata 让 50 系显卡跑通 125B 模型,Strata 是什么开源引擎?

回答 1:开源引擎 Strata 让 50 系显卡跑通 125B 模型,Strata 是 MIT 协议开源的本地 MoE 大模型推理引擎,主打分层存储调度,专门用来在 12GB 显存以上消费显卡离线跑 Qwen3.8-Flash-Next 125B 模型。

问题 2:开源引擎 Strata 让 50 系显卡跑通 125B 模型,RTX5070 跑这个 125B 模型速度大概多少?

回答 2:开源引擎 Strata 让 50 系显卡跑通 125B 模型,RTX5070 上 IQ3_S 版本约 53token/s,Q2_0 低比特版本最高可以到 94token/s,满足日常问答、代码生成使用。

问题 3:开源引擎 Strata 让 50 系显卡跑通 125B 模型,电脑最低需要什么配置?

回答 3:开源引擎 Strata 让 50 系显卡跑通 125B 模型,显卡显存至少 12GB,内存最低 32GB,推荐 64GB,还需要 NVMe 固态硬盘预留 80GB 空间,普通机械硬盘不适合。

问题 4:开源引擎 Strata 让 50 系显卡跑通 125B 模型,这个引擎只能跑英伟达 50 系显卡吗?

回答 4:开源引擎 Strata 让 50 系显卡跑通 125B 模型,除 RTX50 系列之外,RTX30/40 系列 12GB 以上显卡、AMD RX9070XT 这类 16GB 显存显卡同样支持运行。

【参考资料】

[2026-11-13](一个开源引擎,让 50 系显卡跑通了 125B 模型)三易生活

[2026-11-07](Strata:在 12GB 消费显卡运行 125B MoE 大模型)GitHubDaily

[2026-10-06](Strata 引擎开源:12GB 显存可运行 1250 亿参数 Qwen3.8 模型)DoNews

[2026-10-05](Strata runs a 125B model on a 12GB gaming GPU)Electronics For You

[2026-10-04](Strata runs a 125B model on a 12GB gaming GPU)AILog

【免责声明】

本文信息来自开源项目仓库、科技媒体实测报道,Strata 仍在持续迭代,不同电脑硬件、固态速度、内存时序都会改变实际推理速度;量化模型效果相比原版有衰减,仅作为 AI 本地部署资讯参考,不代表商用部署方案,实际使用以项目官方 README 为准。

本文来自作者[超构相位]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/shangye/202611/3800.html

赞 (2)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 超构相位
    超构相位 2026年11月17日

    我是乌兰科技网的签约作者“超构相位”!

  • 超构相位
    超构相位 2026年11月17日

    希望本篇文章《Strata 开源推理引擎落地,RTX50 系 12GB 显存显卡成功跑通 125B 千问 MoE 模型》能对你有所帮助!

  • 超构相位
    超构相位 2026年11月17日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 超构相位
    超构相位 2026年11月17日

    本文概览:开源推理引擎 Strata 由开发者 Niko1221 推出,依靠分层存储 + 稀疏 MoE 专家调度方案,让 RTX5070 这类只有 12GB 显存的 50 系消费级游戏显卡,本地跑通 Qwen3.8-Flash-Next 125B 混合专家大模型,整套方案把模型数据拆分到显存、系统内存、NVMe SSD 三层存储,高频专家常驻显存,其余专家放内存、大查找表放在固态,搭配投机解码提速;实测 RTX5070 在 IQ3_S 量化版本下可以达到 53token s,更低比特 Q2_0 版本最高 94token s,RTX5080 HOF 最高可以冲到 87.5token s,不用专业 A 系列算力卡,普通游戏主机就能离线跑千亿参数大模型,代码以 MIT 协议开源,自带一键安装包、Web 对话界面和兼容 OpenAI 格式的本地 API,Windows、Linux 双平台都支持。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们