标题Claude 自主编写推理引擎,首 Token 等待时长从 12 秒压缩至 0.5 秒

最新公开的技术实验结果显示,Claude Opus 5.5 在限定的实验条件下独立完成一套推理引擎代码的编写,在相同硬件、相同模型以及相同并发测试流量下,和主流开源推理框架 SGLang v0.5.20 做对照测试,P90 首 Token 延迟从 12 秒下降到 0.5 秒左右,也就是用户最直观感受到的,等待 AI 输出第一个字的时间大幅缩短,不过这项提速效果只集中在首 Token 阶段,等到模型开始持续流式输出之后,Claude 写出的引擎和 SGLang 的 Token 生成速度差距很小,持续生成速率基本持平。本次实验设置了严格约束,使用 4 张 GB300 显卡、16 路并发编程会话回放、总开发时限 12 小时,并且禁止联网查阅外部资料;Claude 自主完成显存分配逻辑、请求排队策略、调度方案的设计,砍掉通用推理框架里大量冗余模块,专门适配本次测试的负载场景。需要明确的是,这套由 Claude 写出的推理引擎属于实验产出代码,并不是 Anthropic 官方上线商用的正式推理引擎,没有经过完整的稳定性测试、异常容错和安全风控工程打磨,适配场景有限,暂时无法直接部署到线上业务。

本次对照测试核心数据清单

  • 测试模型:Claude Opus 5.5
  • 硬件:4 张 GB300 显卡
  • 对照框架:SGLang v0.5.20
  • SGLang P90 首 Token 延迟:12.02 秒
  • Claude 自研引擎 P90 首 Token 延迟:0.48 秒
  • SGLang 中位数生成速度:125 token/s
  • Claude 编写引擎中位数生成速度:124.2 token/s
  • 并发负载:16 路编程会话回放
  • 实验限制:禁止联网,开发时长上限 12 小时

首 Token 延迟 TTFT 说明

首 Token 延迟 TTFT,就是提交提示词之后,直到 AI 返回第一个字符的等待时间,对话类、代码助手类产品里,这个指标直接决定用户第一感受。P90 代表 90% 的请求都可以在该时长拿到首个回复,相比平均值,更适合衡量高并发场景下的真实稳定性。

重要边界提醒

  1. 属于科研实验项目,不是 Anthropic 官方商用推理服务
  2. 定向针对本次测试负载优化,更换显卡、模型、业务场景,效果不一定能复现
  3. 优势集中在请求排队、加载调度环节,持续生成速度没有明显优势
  4. 缺少长期稳定性、故障处理、安全校验等工程化打磨

【相关 FAQ】

问题 1:Claude 自写推理引擎,首 Token 从 12 秒降到半秒是在什么条件下测出的?

回答 1:Claude 自写推理引擎,首 Token 从 12 秒降到半秒的测试条件为 4 张 GB300 显卡、16 路编程会话并发、禁止联网、12 小时开发时限,对照组是 SGLang v0.5.20。

问题 2:Claude 自写推理引擎把首 Token 压到 0.48 秒,全程生成速度都会更快吗?

回答 2:Claude 自写推理引擎优势只在首 Token 环节,把等待首字时间从 12 秒降到半秒,进入流式输出阶段之后,持续生成 Token 的速度和 SGLang 基本持平。

问题 3:Claude 自写推理引擎是否已经上线给普通用户和 API 客户使用?

回答 3:Claude 自写推理引擎只是实验产出代码,不是 Anthropic 官方商用推理引擎,目前还没有上线 Claude 官网以及 API 服务。

问题 4:评测 Claude 自写推理引擎为什么选用 P90 首 Token 延迟这个指标?

回答 4:P90 首 Token 延迟代表 90% 请求都能在该时间拿到第一个字,评测 Claude 自写推理引擎用这个指标,更能反映高并发场景下真实用户体验,避免单条简单请求的理想数据带来误判。

【参考资料】

[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)虎嗅网

[2026-11-20](Claude writes inference engine, TTFT drops from 12s to 0.48s)AI 前线

[2026-11-19](SGLang v0.5.20 版本性能文档)SGLang 官方博客

【免责声明】

本文内容基于公开实验报道整理,Claude 自写推理引擎属于 AI 生成代码实验成果,并非官方商用系统;测试结果受显卡型号、并发流量、模型版本影响,不代表全部场景都可以复现提速效果,内容仅作行业技术观察参考,不构成推理框架选型、采购建议。

本文来自作者[浅域快照者]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/kjyw/202611/4683.html

赞 (3)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 浅域快照者
    浅域快照者 2026年11月20日

    我是乌兰科技网的签约作者“浅域快照者”!

  • 浅域快照者
    浅域快照者 2026年11月20日

    希望本篇文章《标题Claude 自主编写推理引擎,首 Token 等待时长从 12 秒压缩至 0.5 秒》能对你有所帮助!

  • 浅域快照者
    浅域快照者 2026年11月20日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 浅域快照者
    浅域快照者 2026年11月20日

    本文概览:最新公开的技术实验结果显示,Claude Opus 5.5 在限定的实验条件下独立完成一套推理引擎代码的编写,在相同硬件、相同模型以及相同并发测试流量下,和主流开源推理框架 SGLang v0.5.20 做对照测试,P90 首 Token 延迟从 12 秒下降到 0.5 秒左右,也就是用户最直观感受到的,等待 AI 输出第一个字的时间大幅缩短,不过这项提速效果只集中在首 Token 阶段,等到模型开始持续流式输出之后,Claude 写出的引擎和 SGLang 的 Token 生成速度差距很小,持续生成速率基本持平。本次实验设置了严格约束,使用 4 张 GB300 显卡、16 路并发编程会话回放、总开发时限 12 小时,并且禁止联网查阅外部资料;Claude 自主完成显存分配逻辑、请求排队策略、调度方案的设计,砍掉通用推理框架里大量冗余模块,专门适配本次测试的负载场景。需要明确的是,这套由 Claude 写出的推理引擎属于实验产出代码,并不是 Anthropic 官方上线商用的正式推理引擎,没有经过完整的稳定性测试、异常容错和安全风控工程打磨,适配场景有限,暂时无法直接部署到线上业务。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们