英伟达正式放出 DFlash 块并行解码方案配套 14 个开放权重检查点,它和传统自回归大模型一个 token 一个 token 慢慢吐不一样,依靠 DFlash Draft 模型一次性预测一整块文本,主模型并行校验,一次可以一次性吐出多个 token,推理吞吐大幅拉高,适合对话、Agent、长文本生成场景。之所以这个方案很受开发者关注,是传统 EAGLE 这类推测解码,Draft 模型本身还是串行生成 token,提速上限有限,而 DFlash 属于块并行扩散 Draft,单步前向直接产出一整段候选文本,在 Blackwell、Hopper 架构 GPU 上优势明显,同时这次直接开放 14 个不同精度、适配不同主模型的 checkpoint,不用自己从零训练 Draft 模型,降低上手门槛。上手的时候优先选和主模型匹配的 DFlash 检查点,在 TensorRT-LLM、vLLM、SGLang 框架里开启 DFlash 块并行解码,再做块大小调参,综合来看,这套方案能显著降低单轮响应延迟,拉高并发,但是对 GPU 算力、显存有要求,小卡收益有限。
一、DFlash 开放检查点基础信息表
| 项目 | 详情 |
|---|---|
| 方案名称 | DFlash Block-parallel Speculative Decoding(块并行推测解码) |
| 放出数量 | 14 个开放权重检查点 |
| 支持精度 | BF16、FP8、NVFP4 量化版本 |
| 适配硬件 | Blackwell(B200/GB200)、Hopper(H100) |
| 兼容推理框架 | TensorRT-LLM、vLLM、SGLang |
| 核心原理 | 扩散 Draft 模型一次性生成整块候选 token,主模型并行校验 |
| 对比传统 | 传统自回归逐 Token 生成;EAGLE 逐 Token Draft;DFlash 整块并行 Draft |
| 加速上限 | 在 Blackwell 平台最高可实现十几倍推理吞吐提升 |
二、DFlash 块并行解码核心优势清单
- 块并行生成:Draft 模型单步直接输出一整块文本,不再逐个蹦 Token,减少解码步数。
- 开放预训练权重:14 个 checkpoint 直接开源,开发者不用投入算力训练 Draft。
- 多精度覆盖:BF16、FP8、NVFP4 版本齐全,兼顾精度和显存占用。
- 主流推理引擎原生适配:不用深度魔改代码,在现有 vLLM、TRT-LLM 服务里开启开关。
- 降低服务成本:同等 GPU 集群,支持更高并发,单 Token 推理成本下降。
- 对 Agent 场景友好:长工具调用、多轮对话、长文本续写,延迟下降感知明显。
三、DFlash 部署实操步骤
第一步:确认 GPU 型号,优先 Blackwell、Hopper,老卡不建议优先测试。
第二步:从 Hugging Face 下载和主模型匹配的 DFlash 开放权重检查点。
第三步:更新推理框架到支持 DFlash 的版本,TensorRT-LLM /vLLM/ SGLang。
第四步:配置参数,指定 DFlash Draft 路径、块大小、并行校验长度。
第五步:启动推理服务,对比基线自回归模式,看吞吐、首 token 延迟、通过率。
第六步:调优块大小,块太大容易校验失败,块太小提速不明显,找到平衡点。
四、避坑要点
❌ 坑 1:DFlash 开启之后,所有文本都能 100% 一次性全部通过校验
块并行产出的候选文本,主模型会校验,部分块校验失败会截断重生成,不是百分百全块直接放行。
❌ 坑 2:随便一个大模型都可以搭配这 14 个 DFlash 检查点
DFlash 检查点和主模型绑定,要选对应基座配套的权重,跨模型混用会质量暴跌。
❌ 坑 3:消费级小显卡也能拿到十几倍加速
加速效果依赖大带宽、高显存的专业 GPU,RTX 消费卡显存带宽受限,收益很低。
❌ 坑 4:DFlash 完全替代 EAGLE、MTP 推测解码
属于另一条技术路线,各有适用场景,EAGLE 实现简单,DFlash 在高吞吐场景上限更高。
❌ 坑 5:开启 DFlash 之后,生成质量一定不变
块越大,校验失败概率越高,极端情况下会出现断句、逻辑错乱,需要权衡速度和质量。
【相关 FAQ】
问题 1:英伟达发布 14 个开放权重检查点的 DFlash,怎么实现告别逐个蹦 Token?
回答 1:英伟达 DFlash 依靠块并行 Draft 模型,单轮前向直接生成一整块候选文本,交给主模型并行校验,不再一个 token 串行生成,搭配放出的 14 个开放权重检查点,开发者直接调用。
问题 2:英伟达 DFlash 这 14 个开放权重检查点,支持哪些推理框架?
回答 2:英伟达 DFlash 这 14 个开放权重检查点,原生支持 TensorRT-LLM、vLLM、SGLang 三大主流推理框架,升级对应版本即可开启块并行解码。
问题 3:英伟达 DFlash 块并行解码,老款 A100 显卡适合跑吗?
回答 3:英伟达 DFlash 块并行解码优化重心在 Blackwell、Hopper 架构,A100 缺少针对性内核,加速效果弱,不建议作为主力部署硬件。
问题 4:英伟达 DFlash 块并行解码,块设置越大速度越快吗?
回答 4:不一定,英伟达 DFlash 块并行解码块设置过大,主模型校验失败率会明显上升,反而会反复重生成拖慢速度,需要在速度和通过率之间调参平衡。
【参考资料】
[2026-11-19](告别逐个蹦 Token,英伟达发布 14 个开放权重检查点:文本直接成块并行吐)英伟达开发者社区
[2026-11-18](DFlash Block-parallel Speculative Decoding 发布,14 个开放 checkpoint)Hugging Face 英伟达官方主页
[2026-11-10](DFlash 块并行推测解码,Blackwell 最高 15 倍推理加速)NVIDIA Technical Blog
[2026-10-25](块并行解码 DFlash 原理,对比 EAGLE、MTP 推测解码)NVIDIA NeMo 文档
[2026-10-12](TensorRT-LLM 新增 DFlash 块并行解码支持)NVIDIA GitHub Release
【免责声明】
本文内容基于英伟达 DFlash 公开技术文档与开放权重发布信息整理,英伟达 DFlash 块并行解码的加速倍数、生成质量受 GPU 型号、块大小、主模型、prompt 类型影响;14 个开放权重检查点的适配范围、许可证条款以 Hugging Face 官方页面为准;本文仅为技术科普,不构成线上推理服务、算力集群采购落地建议。
本文来自作者[源粒回溯]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4483.html
评论列表(4条)
我是乌兰科技网的签约作者“源粒回溯”!
希望本篇文章《英伟达 DFlash 块并行解码14 个开放权重检查点放出,不再逐个生成 Token,文本整块并行输出》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达正式放出 DFlash 块并行解码方案配套 14 个开放权重检查点,它和传统自回归大模型一个 token 一个 token 慢慢吐不一样,依靠 DFlash Draft 模型一次性预测一整块文本,主模型并行校验,一次可以一次性吐出多个 token,推理吞吐大幅拉高,适合对话、Agent、长文本生成场景。之所以这个方案很受开发者关注,是传统 EAGLE 这类推测解码,Draft 模型本身还是串行生成 token,提速上限有限,而 DFlash 属于块并行扩散 Draft,单步前向直接产出一整段候选文本,在 Blackwell、Hopper 架构 GPU 上优势明显,同时这次直接开放 14 个不同精度、适配不同主模型的 checkpoint,不用自己从零训练 Draft 模型,降低上手门槛。上手的时候优先选和主模型匹配的 DFlash 检查点,在 TensorRT-LLM、vLLM、SGLang 框架里开启 DFlash 块并行解码,再做块大小调参,综合来看,这套方案能显著降低单轮响应延迟,拉高并发,但是对 GPU 算力、显存有要求,小卡收益有限。