面壁智能联席首席科学家姚远在访谈中讲解了 MiniCPM‑V 4.7 35B‑A3B 的整套技术路线，这个总参数 350 亿的多模态模型，不是把全部权重压进内存，而是靠 MoE 稀疏架构、LES 前瞻专家调度、细粒度量化与推理底座重构，做到推理常驻内存控制在约 3GB，并且保持模型能力基本无损，在手机、平板这类终端上断网流畅跑通，解决端侧长期存在的 “大模型、小内存、高速度” 不可能三角。传统稠密大模型就算做 4bit 量化，35B 权重也要 15GB 以上，远超手机可用运行内存；普通 MoE 简单按需加载又会卡在闪存读取延迟，每出一个 token 就要停下等读盘，速度跌到 3token/s 以内，没法正常使用。整套方案是分层解决：先用稀疏架构降低单次激活量，再用 LES 预取掩盖 IO 延迟，搭配逐层混合精度量化、视觉压缩、推测采样，同时重构推理底座，把绝大多数专家常驻在闪存，内存里只放公共参数、路由模块和少量动态缓存。如果你做端侧本地部署，这套思路适合手机、平板、嵌入式设备；如果是服务器推理，稠密大模型或者大显存方案依旧更简单。实测在 iPhone 17 Pro Max 上，该方案内存稳定控制在 3GB 附近，解码速度约 13token/s，iPad Pro 可达 15token/s 以上。
核心技术清单
- 模型架构：MoE 混合专家，总参数 35B，推理单次仅激活 3B（35B‑A3B）
- 核心调度：LES Lookahead Expert Scheduling 前瞻专家调度
- 压缩手段：逐层混合精度量化，不同专家、不同层使用不同比特
- 视觉侧优化：全链路视觉 Token 压缩，减少图像输入开销
- 加速模块：DSpark 推测性采样，和专家调度协同提速
- 存储分工：完整模型文件存闪存；运行内存仅保留路由、公共权重、缓存池
- 实测指标：iPhone 17 Pro Max，内存≈3GB，＞13 token/s；iPad Pro＞15 token/s
- 支持平台：iOS、安卓、鸿蒙；苹果、瑞芯微、英伟达、英特尔；SGLang、llama.cpp、Ollama 等框架
传统方案 vs 面壁这套端侧方案对比
| 方案 | 内存策略 | 速度瓶颈 | 优点 | 短板 |
|---|---|---|---|---|
| 稠密模型 + 量化 | 尽量全部载入内存 | 内存上限锁死模型规模 | 调度简单，稳定 | 35B 放不下，只能做小模型 |
| 普通 MoE 按需加载 | 算到哪读到哪 | IO 等待，读盘阻塞 | 内存占用低 | 速度极慢，不可用 |
| LES 前瞻调度 MoE | 预测下一层专家，预取，读写与计算并行 | 带宽上限 | 3GB 内存跑 35B 级能力，速度可用 | 依赖调度预测，需要新推理底座 |
LES 前瞻专家调度原理说明
- MoE 每一层会用路由打分，挑选少量专家参与计算
- 相邻层输入高度相关，路由选择有强可预测性
- 当前层还在计算时，引擎提前预判下一轮候选专家，从闪存预加载
- 加载和计算并行，把读取延迟掩盖在计算时间内
- 同时做缓存淘汰，不用的专家及时释放，守住 3GB 内存上限
完整部署实操要点
- 选择 MiniCPM‑V4.7 35B‑A3B 版本，不要混淆稠密版本
- 部署框架开启 LES 调度、分层量化、推测采样，默认配置不一定生效
- 预留闪存空间存放完整模型包（几十 GB，不是 3GB）
- 开启视觉压缩，图片 / 视频输入会大幅降低视觉 token 开销
- 设备后台尽量清空，系统抢占内存会导致预取失败、掉速
- 模型开源，可在 OpenBMB 社区获取权重、适配代码
适用与不适用场景
- ✅ 适合：手机平板本地问答、识图、OCR、离线多模态、隐私优先场景
- ⚠️ 不适合：高并发服务器推理、极致长上下文、对输出延迟极敏感场景
【相关 FAQ】
问题 1：面壁研究员所说 35B 模型跑进 3GB 内存，是不是整个模型文件只有 3GB？
回答 1：不是，3GB 是推理阶段占用的运行内存；35B‑A3B 完整权重大约 65.6GB，放在闪存里，只有路由、公共参数、预取专家缓存常驻内存。
问题 2：面壁这套方案里，LES 前瞻专家调度解决的最大痛点是什么？
回答 2：传统 MoE 按需加载会反复等待闪存读盘，LES 提前预测专家并并行预加载，掩盖 IO 延迟，把速度从约 3 token/s 提升到 13 token/s 以上，是 3GB 内存流畅跑起来的关键。
问题 3：35B‑A3B 这个 MoE 模型，推理每次只激活 3B 参数，会不会明显降低效果？
回答 3：研究员访谈中表示该版本目标是能力无损，路由机制保证每次挑选匹配输入的专家；在多模态、问答、识图基准上对标同规格稠密大模型，代价是需要专门的调度底座。
问题 4：这个 35B 模型在 3GB 内存方案下，安卓、苹果手机都能跑吗？
回答 4：MiniCPM‑V4.7 35B‑A3B 同时支持 iOS、安卓、鸿蒙，但是不同芯片、闪存带宽差异很大，苹果平台实测速度更好，低端安卓闪存带宽不足会明显掉速。
问题 5：普通开发者怎么部署这个 35B 模型，有现成框架支持吗？
回答 5：模型已经开源，支持 llama.cpp、Ollama、SGLang 等主流推理框架，但是 LES 前瞻调度、分层量化等高级优化需要配套的推理引擎与参数配置，直接默认跑很难压到 3GB 内存。
【参考资料】
[2026-11-09]（在手机里如何塞下更大的端侧模型？面壁智能提供新答案）界面新闻
[2026-11-09]（面壁智能姚远：35B 多模态模型跑进手机，端侧智能已至 “撞线前夜”）新浪财经
[2026-11-09]（端侧逼近 “ChatGPT 时刻”：面壁智能用 Infra，让 35B 模型跑在手机内存里）腾讯新闻
[2026-10-26]（3G 内存装下 35B 多模态，AI 终端迎来巨变前夜）电子发烧友网
[2026-10-13]（你的手机能跑 35B 大模型了！只要 3GB 内存，还无损）智东西
【免责声明】
本文技术内容来自面壁智能研究员访谈与 MiniCPM‑V4.7 公开技术资料；3GB 内存为特定优化部署下的运行内存指标，设备闪存带宽、芯片、系统后台会改变占用和速度；模型效果、兼容性、部署难度以开源仓库和官方文档为准，本文仅为技术科普，不代表部署承诺。
本文来自作者[硅涡信标]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/hlw/202611/675.html
评论列表（4条）
我是乌兰科技网的签约作者“硅涡信标”！
希望本篇文章《对话面壁研究员如何把 35B MoE 模型装进仅 3GB 运行内存流畅推理》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：面壁智能联席首席科学家姚远在访谈中讲解了 MiniCPM‑V 4.7 35B‑A3B 的整套技术路线，这个总参数 350 亿的多模态模型，不是把全部权重压进内存，而是靠 MoE 稀疏架构、LES 前瞻专家调度、细粒度量化与推理底座重构，做到推理常驻内存控制在约 3GB，并且保持模型能力基本无损，在手机、平板这类终端上断网流畅跑通，解决端侧长期存在的 “大模型、小内存、高速度” 不可能三角。传统稠密大模型就算做 4bit 量化，35B 权重也要 15GB 以上，远超手机可用运行内存；普通 MoE 简单按需加载又会卡在闪存读取延迟，每出一个 token 就要停下等读盘，速度跌到 3token s 以内，没法正常使用。整套方案是分层解决：先用稀疏架构降低单次激活量，再用 LES 预取掩盖 IO 延迟，搭配逐层混合精度量化、视觉压缩、推测采样，同时重构推理底座，把绝大多数专家常驻在闪存，内存里只放公共参数、路由模块和少量动态缓存。如果你做端侧本地部署，这套思路适合手机、平板、嵌入式设备；如果是服务器推理，稠密大模型或者大显存方案依旧更简单。实测在 iPhone 17 Pro Max 上，该方案内存稳定控制在 3GB 附近，解码速度约 13token s，iPad Pro 可达 15token s 以上。