英伟达新提出的 SEED 优化方案核心思路是写记忆不需要跑完模型全部网络,它分为浅层预填充、低秩循环状态存储两套优化,在 GB300 GPU 搭配 SGLang 框架、Agent 编码会话负载下,对 Qwen3.8-Flash-Next 测试,每 GPU 吞吐最高提升 42%,并且原始模型权重保持冻结不用重新训练,推理精度几乎无损,这项技术专门针对混合架构大模型,也就是同时包含注意力层和状态空间层的模型,重点解决预填充阶段算力浪费、循环状态存储开销大的痛点,不是去压缩 KV 注意力缓存,而是简化深层记忆写入路径,适合 AI Agent、长会话、代码智能体这类大量上下文预填充的线上推理场景。
一、SEED 核心原理说明
| 优化模块 | 工作逻辑 |
|---|---|
| 浅层编码预填充(Shallow Encoding) | 输入 prompt 里除最后一个 token 外,前面 token 只跑模型浅层网络,再通过轻量发射器 Emitter 生成深层 KV 缓存与循环记忆,不用跑完完整层数;以 Qwen3.8-Flash-Next(48 层)为例,前面 token 只跑前 31 层 |
| 低秩循环状态存储 | 循环状态大部分信息集中在单一主方向分量,剩下是低秩增量,不存储完整大矩阵,只保存主分量 + 低秩因子,减少状态读写开销 |
二、实测性能数据(GB300+SGLang、Agent 编码负载)
- 测试模型:Qwen3.8-Flash-Next
- 吞吐提升区间:峰值吞吐提升 16%~42%;固定 P90 端到端时延指标下,吞吐提升 23%~42%
- 缓存命中率:NVFP4、40 并发场景,原生前缀缓存命中率约 55%,开启 SEED 后提升至 85%
- 精度表现:在 11 项权威考试测评上,效果接近无损
- 适用模型范围:30B~300B 参数区间的 5 款混合架构大模型(注意力 + SSM)
三、SEED 关键特点清单
- 原模型权重冻结:不需要微调、重训基座模型,只训练少量记忆发射器组件;
- 不压缩 Attention KV Cache:和常见 KV 缓存压缩方案不是同一路线;
- 解码阶段不变:生成输出 token 时依旧跑完模型全部网络,保证生成质量;
- 适配框架:论文验证基于 SGLang,面向生产推理服务;
- 适配负载:AI Agent、多轮长对话、代码智能体这类频繁做 prompt 预填充的业务。
四、适用场景与不适合场景
✅ 适合场景
- AI Agent 智能体服务、工具调用循环会话
- 代码模型、长上下文对话服务
- 高并发、大量重复前缀的线上推理集群
❌ 不适合场景
- 以超长 KV 缓存占用显存为主的业务,SEED 收益有限
- 纯 Transformer 无循环状态的传统 LLM,该优化无法生效
五、落地使用流程
- 选定混合架构大模型(带循环状态 / SSM 结构);
- 训练配套的 Emitter 记忆写入组件(基座权重不动);
- 在 SGLang 推理后端接入 SEED 调度逻辑;
- 部署到 GB300 等 Blackwell 系列 GPU;
- 对比基线,监控缓存命中率、GPU 吞吐、P90 延迟与答题准确率。
六、当前局限
- 仅对混合架构模型生效,纯 Transformer 模型无法受益;
- 项目代码、发射器权重、训练集计划后续开源,目前仅论文阶段;
- 收益强弱和业务并发、prompt 前缀重复度强相关,低并发场景提升幅度变小。
【相关 FAQ】
问题 1:英伟达 SEED 为什么能提升 GPU 吞吐,是不是压缩 KV 缓存?
回答 1:英伟达 SEED 提升吞吐的核心是浅层编码写入深层记忆、低秩化存储循环状态,并不是压缩 KV 注意力缓存,预填充阶段大部分 token 不用跑完完整网络,减少预填充算力消耗,同时优化循环状态读写。
问题 2:英伟达 SEED 单 GPU 吞吐最高提升 42%,这个测试是在什么环境、什么模型测出的?
回答 2:英伟达 SEED 最高 42% 的吞吐提升,是在 GB300 GPU、SGLang 推理框架、Agent 编码会话负载,使用 Qwen3.8-Flash-Next 混合大模型测出,不同模型、负载、并发下提升幅度会落到 16%-42% 区间。
问题 3:使用英伟达 SEED 需要重新训练大模型基座吗,会不会损失输出质量?
回答 3:使用英伟达 SEED 不需要重新训练基座大模型,基座权重保持冻结,仅训练少量 Emitter 发射器组件;在论文的 11 项官方考试测评里,SEED 实现近乎无损的推理效果。
问题 4:英伟达 SEED 适合哪些业务,普通纯 Transformer 大模型可以用上 SEED 吗?
回答 4:英伟达 SEED 适合 AI Agent、代码智能体、高并发长会话这类混合架构模型推理业务;纯 Transformer、没有循环状态的传统大模型,无法使用 SEED 这套优化。
【参考资料】
[2026-11-19](写入记忆,何必读完整个网络?英伟达 SEED 每 GPU 吞吐最高提升 42%)机器之心 Pro
[2026-11-19](英伟达 SEED 技术:浅层编码发射深层记忆,混合模型推理吞吐最高 + 42%)新浪财经
[2026-11-04](Shallow Encoding Emits Deep Memories)arXiv
[2026-11-03](英伟达 SEED 论文解读:Agent 场景下的预填充优化新思路)AI 科技评论
【免责声明】
本文仅整理英伟达 SEED 论文与公开行业资讯,SEED 目前处于学术论文阶段,配套代码、权重尚未正式开源;吞吐提升数据是特定硬件、模型、负载下的实验结果,线上实际收益受模型架构、业务并发、prompt 结构、推理框架影响;本文不构成推理集群改造、GPU 采购、大模型选型的落地建议,上线前务必自行做压测与精度验证。
本文来自作者[幽簇执标使]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/jqr/202611/4488.html
评论列表(4条)
我是乌兰科技网的签约作者“幽簇执标使”!
希望本篇文章《英伟达 SEED(Shallow Encoding Emits Deep Memories)技术解析浅层编码生成深层记忆,单 GPU 吞吐最高提升 42%》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达新提出的 SEED 优化方案核心思路是写记忆不需要跑完模型全部网络,它分为浅层预填充、低秩循环状态存储两套优化,在 GB300 GPU 搭配 SGLang 框架、Agent 编码会话负载下,对 Qwen3.8-Flash-Next 测试,每 GPU 吞吐最高提升 42%,并且原始模型权重保持冻结不用重新训练,推理精度几乎无损,这项技术专门针对混合架构大模型,也就是同时包含注意力层和状态空间层的模型,重点解决预填充阶段算力浪费、循环状态存储开销大的痛点,不是去压缩 KV 注意力缓存,而是简化深层记忆写入路径,适合 AI Agent、长会话、代码智能体这类大量上下文预填充的线上推理场景。