FlashStates 是面向 Agent 场景的大模型推理服务系统,针对混合架构模型(SSM+Attention)重新设计混合状态管理机制,解决这类模型跑 Agent 时前缀缓存复用困难、大量重复预填充拖慢速度的痛点,在 Agent 编码任务实测中,相比 vLLM,GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 三款混合模型的预填充吞吐最高提升 3.14 倍,同时首 token 延迟 P90 最高下降 88%,非常适合多轮工具调用、长上下文的 Agent 工作流,让混合架构模型在 Agent 高并发场景下推理成本更低、响应更快。
一、核心信息对照表
| 项目 | 详情 |
|---|---|
| 方案名称 | FlashStates(FlashState) |
| 定位 | Agent 场景混合架构 LLM 推理服务系统 |
| 核心技术 | ASC 任意状态检查点(Arbitrary State Checkpointing) |
| 测试模型 | GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super |
| 测试硬件 | NVIDIA B200 GPU,每引擎双卡 |
| 基准对比 | vLLM |
| 预填充吞吐提升 | GLM-5.3-Flash:3.14 倍;Nemotron 3 Super:2.27 倍;Qwen3.8-Flash-Next:1.54 倍 |
| 首 token 延迟 TTFT | P90 最高降低 88% |
| 适用场景 | 编码 Agent、多轮工具调用、长上下文 Agent 任务 |
二、混合架构模型跑 Agent 的原有痛点清单
- 混合模型同时包含 SSM 状态和 Attention KV 缓存,两种状态强绑定,传统缓存方案只能按块对齐,很难细粒度复用;
- Agent 任务多轮循环、频繁调用工具,大量上下文前缀重复,每次请求都要重复预填充,算力浪费严重;
- 要么只能粗粒度缓存复用,命中率低;要么大量保存密集检查点,显存被快速占满;
- 并发拉高之后,首 token 延迟飙升,Agent 交互卡顿明显。
三、FlashStates 关键技术原理
- ASC 任意状态检查点:把 SSM 循环状态的检查点位置,和 KV 缓存块边界解耦,不用对齐块边界,任意位置都可以保存、恢复状态;
- 感知代价的在线调度策略:把 Agent 混合状态管理转化为内存约束下的优化问题,优先缓存复用价值高的状态,不盲目存储大量检查点;
- 统一状态复用框架:同时管理 SSM 循环状态 + Attention KV 缓存,一次命中就能同时恢复两套状态,直接跳过重复预填充流程;
- 和 Mooncake 缓存体系兼容,在主机内存扩容缓存池,进一步放大吞吐收益。
四、FlashStates 带来的实际收益
- 预填充吞吐大幅上涨,Agent 高并发承载能力变强,单卡能跑更多 Agent 实例;
- 首 token 延迟显著下降,用户和 Agent 对话、工具返回之后的响应速度更快;
- 减少重复计算,降低 GPU 算力开销,Agent 业务单 Token 推理成本下降;
- 适配主流 SSM+Attention 混合模型,不用改动模型本身,在推理服务层完成优化。
五、适用与不适合场景
- 适合:编码 Agent、自动化工具调用 Agent、长上下文多轮对话、需要反复回溯上下文的智能体业务;
- 不适合:纯 Attention 大模型、短单轮问答、状态几乎不重复的一次性请求。
六、简单理解工作流程
- Agent 执行多轮任务,产生大量重复上下文前缀;
- FlashStates 在任意位置自动生成 ASC 检查点,同时保存对应 KV 缓存;
- 新请求进来时匹配已有状态,命中后直接恢复 SSM 状态 + KV,跳过预填充;
- 调度器根据显存、命中率动态淘汰低价值状态,维持高吞吐。
【相关 FAQ】
问题 1:FlashStates 面向混合架构模型跑 Agent,预填充吞吐最高提升多少?
回答 1:FlashStates 重新设计混合状态管理,混合架构模型跑 Agent 场景,对比 vLLM,GLM-5.3-Flash 的预填充吞吐最高提升 3.14 倍,也就是接近 3 倍。
问题 2:FlashStates 核心 ASC 任意状态检查点,解决混合架构模型什么问题?
回答 2:FlashStates 的 ASC 任意状态检查点,把 SSM 循环状态和 KV 缓存块边界解耦,实现任意位置细粒度状态复用,解决 Agent 场景混合模型状态绑定、缓存复用难、重复预填充的问题。
问题 3:FlashStates 主要适配哪些模型,适合什么样的 Agent 任务?
回答 3:FlashStates 在 GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 这类 SSM+Attention 混合架构模型上验证,适合编码 Agent、多轮工具调用、长上下文智能体任务。
【参考资料】
[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)arXiv
[2026-11-12](FlashStates 技术页:混合模型 Agent 推理性能数据)flashstates.ai
[2026-11-13](混合架构 SSM 模型 Agent 推理瓶颈与缓存优化综述)机器之心
【免责声明】
本文仅为 FlashStates 公开论文与测试数据整理,性能提升为 Agent 编码负载下的实测结果,不同模型、prompt、并发和硬件环境下增益会浮动;该方案属于推理层优化技术,不改变模型本身能力;不构成线上业务落地承诺,生产环境部署前建议自行压测验证。
本文来自作者[旋棱探微者]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/3365.html
评论列表(4条)
我是乌兰科技网的签约作者“旋棱探微者”!
希望本篇文章《FlashStates 重构混合状态,混合架构模型跑 Agent 预填充吞吐最高提升 3 倍》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:FlashStates 是面向 Agent 场景的大模型推理服务系统,针对混合架构模型(SSM+Attention)重新设计混合状态管理机制,解决这类模型跑 Agent 时前缀缓存复用困难、大量重复预填充拖慢速度的痛点,在 Agent 编码任务实测中,相比 vLLM,GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 三款混合模型的预填充吞吐最高提升 3.14 倍,同时首 token 延迟 P90 最高下降 88%,非常适合多轮工具调用、长上下文的 Agent 工作流,让混合架构模型在 Agent 高并发场景下推理成本更低、响应更快。