最新公开的技术实验结果显示,Claude Opus 5.5 在限定的实验条件下独立完成一套推理引擎代码的编写,在相同硬件、相同模型以及相同并发测试流量下,和主流开源推理框架 SGLang v0.5.20 做对照测试,P90 首 Token 延迟从 12 秒下降到 0.5 秒左右,也就是用户最直观感受到的,等待 AI 输出第一个字的时间大幅缩短,不过这项提速效果只集中在首 Token 阶段,等到模型开始持续流式输出之后,Claude 写出的引擎和 SGLang 的 Token 生成速度差距很小,持续生成速率基本持平。本次实验设置了严格约束,使用 4 张 GB300 显卡、16 路并发编程会话回放、总开发时限 12 小时,并且禁止联网查阅外部资料;Claude 自主完成显存分配逻辑、请求排队策略、调度方案的设计,砍掉通用推理框架里大量冗余模块,专门适配本次测试的负载场景。需要明确的是,这套由 Claude 写出的推理引擎属于实验产出代码,并不是 Anthropic 官方上线商用的正式推理引擎,没有经过完整的稳定性测试、异常容错和安全风控工程打磨,适配场景有限,暂时无法直接部署到线上业务。
本次对照测试核心数据清单
- 测试模型:Claude Opus 5.5
- 硬件:4 张 GB300 显卡
- 对照框架:SGLang v0.5.20
- SGLang P90 首 Token 延迟:12.02 秒
- Claude 自研引擎 P90 首 Token 延迟:0.48 秒
- SGLang 中位数生成速度:125 token/s
- Claude 编写引擎中位数生成速度:124.2 token/s
- 并发负载:16 路编程会话回放
- 实验限制:禁止联网,开发时长上限 12 小时
首 Token 延迟 TTFT 说明
首 Token 延迟 TTFT,就是提交提示词之后,直到 AI 返回第一个字符的等待时间,对话类、代码助手类产品里,这个指标直接决定用户第一感受。P90 代表 90% 的请求都可以在该时长拿到首个回复,相比平均值,更适合衡量高并发场景下的真实稳定性。
重要边界提醒
- 属于科研实验项目,不是 Anthropic 官方商用推理服务
- 定向针对本次测试负载优化,更换显卡、模型、业务场景,效果不一定能复现
- 优势集中在请求排队、加载调度环节,持续生成速度没有明显优势
- 缺少长期稳定性、故障处理、安全校验等工程化打磨
【相关 FAQ】
问题 1:Claude 自写推理引擎,首 Token 从 12 秒降到半秒是在什么条件下测出的?
回答 1:Claude 自写推理引擎,首 Token 从 12 秒降到半秒的测试条件为 4 张 GB300 显卡、16 路编程会话并发、禁止联网、12 小时开发时限,对照组是 SGLang v0.5.20。
问题 2:Claude 自写推理引擎把首 Token 压到 0.48 秒,全程生成速度都会更快吗?
回答 2:Claude 自写推理引擎优势只在首 Token 环节,把等待首字时间从 12 秒降到半秒,进入流式输出阶段之后,持续生成 Token 的速度和 SGLang 基本持平。
问题 3:Claude 自写推理引擎是否已经上线给普通用户和 API 客户使用?
回答 3:Claude 自写推理引擎只是实验产出代码,不是 Anthropic 官方商用推理引擎,目前还没有上线 Claude 官网以及 API 服务。
问题 4:评测 Claude 自写推理引擎为什么选用 P90 首 Token 延迟这个指标?
回答 4:P90 首 Token 延迟代表 90% 请求都能在该时间拿到第一个字,评测 Claude 自写推理引擎用这个指标,更能反映高并发场景下真实用户体验,避免单条简单请求的理想数据带来误判。
【参考资料】
[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)虎嗅网
[2026-11-20](Claude writes inference engine, TTFT drops from 12s to 0.48s)AI 前线
[2026-11-19](SGLang v0.5.20 版本性能文档)SGLang 官方博客
【免责声明】
本文内容基于公开实验报道整理,Claude 自写推理引擎属于 AI 生成代码实验成果,并非官方商用系统;测试结果受显卡型号、并发流量、模型版本影响,不代表全部场景都可以复现提速效果,内容仅作行业技术观察参考,不构成推理框架选型、采购建议。
本文来自作者[浅域快照者]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/kjyw/202611/4683.html
评论列表(4条)
我是乌兰科技网的签约作者“浅域快照者”!
希望本篇文章《标题Claude 自主编写推理引擎,首 Token 等待时长从 12 秒压缩至 0.5 秒》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:最新公开的技术实验结果显示,Claude Opus 5.5 在限定的实验条件下独立完成一套推理引擎代码的编写,在相同硬件、相同模型以及相同并发测试流量下,和主流开源推理框架 SGLang v0.5.20 做对照测试,P90 首 Token 延迟从 12 秒下降到 0.5 秒左右,也就是用户最直观感受到的,等待 AI 输出第一个字的时间大幅缩短,不过这项提速效果只集中在首 Token 阶段,等到模型开始持续流式输出之后,Claude 写出的引擎和 SGLang 的 Token 生成速度差距很小,持续生成速率基本持平。本次实验设置了严格约束,使用 4 张 GB300 显卡、16 路并发编程会话回放、总开发时限 12 小时,并且禁止联网查阅外部资料;Claude 自主完成显存分配逻辑、请求排队策略、调度方案的设计,砍掉通用推理框架里大量冗余模块,专门适配本次测试的负载场景。需要明确的是,这套由 Claude 写出的推理引擎属于实验产出代码,并不是 Anthropic 官方上线商用的正式推理引擎,没有经过完整的稳定性测试、异常容错和安全风控工程打磨,适配场景有限,暂时无法直接部署到线上业务。