开源推理引擎 Strata 由开发者 Niko1221 推出,依靠分层存储 + 稀疏 MoE 专家调度方案,让 RTX5070 这类只有 12GB 显存的 50 系消费级游戏显卡,本地跑通 Qwen3.8-Flash-Next 125B 混合专家大模型,整套方案把模型数据拆分到显存、系统内存、NVMe SSD 三层存储,高频专家常驻显存,其余专家放内存、大查找表放在固态,搭配投机解码提速;实测 RTX5070 在 IQ3_S 量化版本下可以达到 53token/s,更低比特 Q2_0 版本最高 94token/s,RTX5080 HOF 最高可以冲到 87.5token/s,不用专业 A 系列算力卡,普通游戏主机就能离线跑千亿参数大模型,代码以 MIT 协议开源,自带一键安装包、Web 对话界面和兼容 OpenAI 格式的本地 API,Windows、Linux 双平台都支持。
硬件配置与实测性能表
| 项目 | 参数详情 |
|---|---|
| 引擎名称 | Strata |
| 目标模型 | Qwen3.8-Flash-Next,125B MoE |
| 推荐显卡 | RTX5070(12GB)、RTX5080、RTX5090,AMD 12GB + 显卡也兼容 |
| 最低内存 | 32GB,推荐 64GB |
| 硬盘需求 | NVMe SSD,预留 80GB 空间 |
| IQ3_S(3.5bit)RTX5070 速度 | 53 tok/s |
| Q2_0(2bit)RTX5070 速度 | 94 tok/s |
| IQ3_S RTX5080 HOF 速度 | 87.5 tok/s |
| 开源协议 | MIT 协议 |
Strata 能在小显存显卡跑 125B 模型的核心原因
- MoE 稀疏激活特性,125B 模型拥有两万多个专家,每一轮生成 token 只会激活少量专家,不需要一次性把全部参数加载进显存。
- 三层分层调度,高频专家缓存到 VRAM,大部分专家放在系统内存,超大 n-gram 查表文件放在高速 SSD,哪里存放就在哪里计算,减少频繁搬运数据的开销。
- 投机解码优化,小草稿模型提前预生成候选 token,主模型一次性校验,拉高整体输出速度。
- 轻量化 KV 缓存管理,超长上下文的 KV 数据也会分流到内存,只保留热点部分在显存,进一步降低显存压力。
上手部署的基础步骤
- 准备硬件,显卡显存≥12GB,内存优先 64GB,搭配高速 NVMe 固态硬盘。
- 下载 Strata 一键安装包,或者拉取 GitHub 源码,选择对应系统版本。
- 工具自动下载量化后的 Qwen3.8-Flash-Next 模型包,文件约 83.6GB。
- 启动后端,打开本地 Web 页面,或者调用本地 API 接入其他 AI 工具。
- 初次加载会比较慢,系统短暂卡顿属于正常现象,等待缓存预热后即可稳定对话。
需要留意的短板与局限
- 对 SSD 读写速度敏感,普通 SATA 固态会出现明显掉速,必须 NVMe 固态。
- 速度波动比较大,取决于当前要激活的专家是否已经缓存进显存,冷访问会变慢。
- 是量化版本模型,相比原版高精度版本存在一定效果损失。
- 长时间高负载运行,内存和 SSD 交换频繁,主机功耗偏高。
- 只针对这款 Qwen3.8-Flash-Next 做深度优化,不是所有 125B 大模型都可以直接跑。
【相关 FAQ】
问题 1:开源引擎 Strata 让 50 系显卡跑通 125B 模型,Strata 是什么开源引擎?
回答 1:开源引擎 Strata 让 50 系显卡跑通 125B 模型,Strata 是 MIT 协议开源的本地 MoE 大模型推理引擎,主打分层存储调度,专门用来在 12GB 显存以上消费显卡离线跑 Qwen3.8-Flash-Next 125B 模型。
问题 2:开源引擎 Strata 让 50 系显卡跑通 125B 模型,RTX5070 跑这个 125B 模型速度大概多少?
回答 2:开源引擎 Strata 让 50 系显卡跑通 125B 模型,RTX5070 上 IQ3_S 版本约 53token/s,Q2_0 低比特版本最高可以到 94token/s,满足日常问答、代码生成使用。
问题 3:开源引擎 Strata 让 50 系显卡跑通 125B 模型,电脑最低需要什么配置?
回答 3:开源引擎 Strata 让 50 系显卡跑通 125B 模型,显卡显存至少 12GB,内存最低 32GB,推荐 64GB,还需要 NVMe 固态硬盘预留 80GB 空间,普通机械硬盘不适合。
问题 4:开源引擎 Strata 让 50 系显卡跑通 125B 模型,这个引擎只能跑英伟达 50 系显卡吗?
回答 4:开源引擎 Strata 让 50 系显卡跑通 125B 模型,除 RTX50 系列之外,RTX30/40 系列 12GB 以上显卡、AMD RX9070XT 这类 16GB 显存显卡同样支持运行。
【参考资料】
[2026-11-13](一个开源引擎,让 50 系显卡跑通了 125B 模型)三易生活
[2026-11-07](Strata:在 12GB 消费显卡运行 125B MoE 大模型)GitHubDaily
[2026-10-06](Strata 引擎开源:12GB 显存可运行 1250 亿参数 Qwen3.8 模型)DoNews
[2026-10-05](Strata runs a 125B model on a 12GB gaming GPU)Electronics For You
[2026-10-04](Strata runs a 125B model on a 12GB gaming GPU)AILog
【免责声明】
本文信息来自开源项目仓库、科技媒体实测报道,Strata 仍在持续迭代,不同电脑硬件、固态速度、内存时序都会改变实际推理速度;量化模型效果相比原版有衰减,仅作为 AI 本地部署资讯参考,不代表商用部署方案,实际使用以项目官方 README 为准。
本文来自作者[超构相位]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/shangye/202611/3800.html
评论列表(4条)
我是乌兰科技网的签约作者“超构相位”!
希望本篇文章《Strata 开源推理引擎落地,RTX50 系 12GB 显存显卡成功跑通 125B 千问 MoE 模型》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:开源推理引擎 Strata 由开发者 Niko1221 推出,依靠分层存储 + 稀疏 MoE 专家调度方案,让 RTX5070 这类只有 12GB 显存的 50 系消费级游戏显卡,本地跑通 Qwen3.8-Flash-Next 125B 混合专家大模型,整套方案把模型数据拆分到显存、系统内存、NVMe SSD 三层存储,高频专家常驻显存,其余专家放内存、大查找表放在固态,搭配投机解码提速;实测 RTX5070 在 IQ3_S 量化版本下可以达到 53token s,更低比特 Q2_0 版本最高 94token s,RTX5080 HOF 最高可以冲到 87.5token s,不用专业 A 系列算力卡,普通游戏主机就能离线跑千亿参数大模型,代码以 MIT 协议开源,自带一键安装包、Web 对话界面和兼容 OpenAI 格式的本地 API,Windows、Linux 双平台都支持。