FlashStates 重构混合状态,混合架构模型跑 Agent 预填充吞吐最高提升 3 倍

FlashStates 是面向 Agent 场景的大模型推理服务系统,针对混合架构模型(SSM+Attention)重新设计混合状态管理机制,解决这类模型跑 Agent 时前缀缓存复用困难、大量重复预填充拖慢速度的痛点,在 Agent 编码任务实测中,相比 vLLM,GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 三款混合模型的预填充吞吐最高提升 3.14 倍,同时首 token 延迟 P90 最高下降 88%,非常适合多轮工具调用、长上下文的 Agent 工作流,让混合架构模型在 Agent 高并发场景下推理成本更低、响应更快。

一、核心信息对照表

项目详情
方案名称FlashStates(FlashState)
定位Agent 场景混合架构 LLM 推理服务系统
核心技术ASC 任意状态检查点(Arbitrary State Checkpointing)
测试模型GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super
测试硬件NVIDIA B200 GPU,每引擎双卡
基准对比vLLM
预填充吞吐提升GLM-5.3-Flash:3.14 倍;Nemotron 3 Super:2.27 倍;Qwen3.8-Flash-Next:1.54 倍
首 token 延迟 TTFTP90 最高降低 88%
适用场景编码 Agent、多轮工具调用、长上下文 Agent 任务

二、混合架构模型跑 Agent 的原有痛点清单

  1. 混合模型同时包含 SSM 状态和 Attention KV 缓存,两种状态强绑定,传统缓存方案只能按块对齐,很难细粒度复用;
  2. Agent 任务多轮循环、频繁调用工具,大量上下文前缀重复,每次请求都要重复预填充,算力浪费严重;
  3. 要么只能粗粒度缓存复用,命中率低;要么大量保存密集检查点,显存被快速占满;
  4. 并发拉高之后,首 token 延迟飙升,Agent 交互卡顿明显。

三、FlashStates 关键技术原理

  1. ASC 任意状态检查点:把 SSM 循环状态的检查点位置,和 KV 缓存块边界解耦,不用对齐块边界,任意位置都可以保存、恢复状态;
  2. 感知代价的在线调度策略:把 Agent 混合状态管理转化为内存约束下的优化问题,优先缓存复用价值高的状态,不盲目存储大量检查点;
  3. 统一状态复用框架:同时管理 SSM 循环状态 + Attention KV 缓存,一次命中就能同时恢复两套状态,直接跳过重复预填充流程;
  4. 和 Mooncake 缓存体系兼容,在主机内存扩容缓存池,进一步放大吞吐收益。

四、FlashStates 带来的实际收益

  1. 预填充吞吐大幅上涨,Agent 高并发承载能力变强,单卡能跑更多 Agent 实例;
  2. 首 token 延迟显著下降,用户和 Agent 对话、工具返回之后的响应速度更快;
  3. 减少重复计算,降低 GPU 算力开销,Agent 业务单 Token 推理成本下降;
  4. 适配主流 SSM+Attention 混合模型,不用改动模型本身,在推理服务层完成优化。

五、适用与不适合场景

  • 适合:编码 Agent、自动化工具调用 Agent、长上下文多轮对话、需要反复回溯上下文的智能体业务;
  • 不适合:纯 Attention 大模型、短单轮问答、状态几乎不重复的一次性请求。

六、简单理解工作流程

  1. Agent 执行多轮任务,产生大量重复上下文前缀;
  2. FlashStates 在任意位置自动生成 ASC 检查点,同时保存对应 KV 缓存;
  3. 新请求进来时匹配已有状态,命中后直接恢复 SSM 状态 + KV,跳过预填充;
  4. 调度器根据显存、命中率动态淘汰低价值状态,维持高吞吐。

【相关 FAQ】

问题 1:FlashStates 面向混合架构模型跑 Agent,预填充吞吐最高提升多少?

回答 1:FlashStates 重新设计混合状态管理,混合架构模型跑 Agent 场景,对比 vLLM,GLM-5.3-Flash 的预填充吞吐最高提升 3.14 倍,也就是接近 3 倍。

问题 2:FlashStates 核心 ASC 任意状态检查点,解决混合架构模型什么问题?

回答 2:FlashStates 的 ASC 任意状态检查点,把 SSM 循环状态和 KV 缓存块边界解耦,实现任意位置细粒度状态复用,解决 Agent 场景混合模型状态绑定、缓存复用难、重复预填充的问题。

问题 3:FlashStates 主要适配哪些模型,适合什么样的 Agent 任务?

回答 3:FlashStates 在 GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 这类 SSM+Attention 混合架构模型上验证,适合编码 Agent、多轮工具调用、长上下文智能体任务。

【参考资料】

[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)arXiv

[2026-11-12](FlashStates 技术页:混合模型 Agent 推理性能数据)flashstates.ai

[2026-11-13](混合架构 SSM 模型 Agent 推理瓶颈与缓存优化综述)机器之心

【免责声明】

本文仅为 FlashStates 公开论文与测试数据整理,性能提升为 Agent 编码负载下的实测结果,不同模型、prompt、并发和硬件环境下增益会浮动;该方案属于推理层优化技术,不改变模型本身能力;不构成线上业务落地承诺,生产环境部署前建议自行压测验证。

本文来自作者[旋棱探微者]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/3365.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 旋棱探微者
    旋棱探微者 2026年11月16日

    我是乌兰科技网的签约作者“旋棱探微者”!

  • 旋棱探微者
    旋棱探微者 2026年11月16日

    希望本篇文章《FlashStates 重构混合状态,混合架构模型跑 Agent 预填充吞吐最高提升 3 倍》能对你有所帮助!

  • 旋棱探微者
    旋棱探微者 2026年11月16日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 旋棱探微者
    旋棱探微者 2026年11月16日

    本文概览:FlashStates 是面向 Agent 场景的大模型推理服务系统,针对混合架构模型(SSM+Attention)重新设计混合状态管理机制,解决这类模型跑 Agent 时前缀缓存复用困难、大量重复预填充拖慢速度的痛点,在 Agent 编码任务实测中,相比 vLLM,GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 三款混合模型的预填充吞吐最高提升 3.14 倍,同时首 token 延迟 P90 最高下降 88%,非常适合多轮工具调用、长上下文的 Agent 工作流,让混合架构模型在 Agent 高并发场景下推理成本更低、响应更快。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们