核心结论:蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0),核心是一套叫 Invoker-Render 的 "生成式渲染引擎",相当于给世界模型配了一块 "生成式显卡":代码负责把场景布局、物体运动、镜头路径写成结构化 Proxy,生成模型只负责把 Proxy 渲染成连续高保真画面,团队用一段 30 分钟无切镜、无重置的赛车演示证明了长时连续生成的稳定性。这套方案针对端到端世界模型 "控制不精准、长时容易漂移" 的痛点,把世界状态管理和视觉生成分开;在 140 组流式评测里,画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,并随报告开源了模型、单机八卡流式推理引擎和手柄交互前端。
一、要解决什么问题
交互式世界模型要 "听话",必须同时具备两种能力:
- 控制精度:用户操作指令得到准确响应(拨摇杆,车就转向)。
- 时序一致性:世界持续变化时,物体身份、外观、状态保持稳定,"该变的变,不该变的不变"。
端到端路线(如 Google DeepMind Genie 4)让一个模型同时干两件事:像物理引擎一样维护物体状态和规则,又像渲染器一样合成材质光照,交互一复杂,精准控制和修改规则就很困难。CWM 2.0 选择把两件事拆开。
二、整体架构:代码管世界,生成模型管画面
| 层 | 职责 | 具体内容 |
|---|---|---|
| 代码层(世界程序) | 定义物体、运动规则、摄影机路径 | 输出结构化 Proxy(场景布局、位置、朝向、轨迹、镜头变化) |
| 生成层(Invoker-Render) | 视觉呈现 | 补充材质、纹理、光影、局部细节,输出连续高保真画面 |
基座基于 MiniMax-H3,构建两种互补模型,共享结构 Proxy、外观参考图、文本条件同一套输入接口:
- 双向创作模型:读取完整 Proxy 序列、利用前后文,适合离线视频创作和复杂运镜预规划。
- 因果四步流式模型:不能提前看到未来,逐块接收新 Proxy 并结合历史画面持续生成,适合实时交互。
三、五类 Proxy:一套模型统一不同粒度控制
Invoker-Render 支持五类结构表示:
- 语义图(Semantic Map)
- 稀疏三维框(Sparse 3D Boxes)
- 主体掩码(Subject Mask)
- 带明暗的几何体(Shaded Geometry)
- 三维框与骨架(Boxes + Skeletons)
同一类表示内部也能适应不同精度:简单人体结构模型自行补全迈步摆臂;输入精细骨架时则严格跟随关节姿态。赛车场景几个三维框就够,格斗场景则需要完整骨架。
训练数据:约 200 小时多粒度对齐数据,其中约 150 小时为自采三维交互与驾驶序列,约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集;通过场景重建和运动恢复,从同一场景生成不同精度 Proxy 并与真实视频配对。
镜头控制:同一事件可按不同摄影机路径生成不同视角,演示了 Orbit 环绕拍摄与 Crane Up 升降拍摄。
四、ProForcing:解决 30 分钟不跑偏的训练方法
流式生成无法提前看完整视频,前面画面的误差会被后续继承累积(红车慢慢褪成米白、鹿角翅膀丢失、路面变黑)。团队提出 Progressive Forcing(ProForcing)三阶段训练:
| 阶段 | 方法 | 目标 |
|---|---|---|
| 1 因果适应 | Teacher Forcing(真实视频历史)+ Resampling Forcing(引入重建误差) | 让模型适应不完美的历史 |
| 2 少步蒸馏 | RF-DMD 把生成蒸馏为四步,加 GAN 对抗监督 | 防少步生成细节损失、过度平滑 |
| 3 长序列自生成 | SF-DMD(Self-Forcing DMD)在自身连续生成历史上训练,延续学生模型、Fake Score、判别器、优化器状态和 EMA 权重 | 长时自洽稳定 |
成果:30 分钟赛车演示无切镜、无重置;另两组约 5 分钟序列(298 秒、299 秒)持续跟随轨迹并保持车辆外观。
五、推理系统:单机八卡流式引擎(随报告开放)
- 结构:基于 SGLang 与 SGLang-Omni 构建。
- 前向压缩:结构化块因果掩码把每个视频块主干前向从 6 次减到 4 次,约省三分之一调用开销(历史提交、条件预填充、第一步去噪融合为一次前向)。
- 缓存复用:常驻外观参考锚点、持久化 KV 缓冲区、零拷贝滑动窗口,减少重复计算和数据搬运。
- 八卡流水线:Proxy 编码、视频生成、视频解码部分并行,生成当前块时并行准备下一块、解码上一块。
- 配套工具:WebSocket 会话服务、文件推理客户端、支持手柄交互的浏览器前端。
六、评测成绩:140 组测试四项第一
评测设置:140 组留出测试序列(不同三维环境、多主体交互、不同 Proxy 表示),Gemini 3.8 Flash 匿名两两比较,Bradley–Terry 模型拟合 Elo。
| 维度 | Invoker-Render Elo |
|---|---|
| 画面质量 | 1336.4 |
| 结构与运动 | 1309.0 |
| 参考外观保持 | 1214.1 |
| 综合偏好 | 1343.2 |
- 对三款流式渲染基线综合偏好胜率:92.9%、82.9%、62.9%。
- 对最强的 Other Work-3,综合偏好 Elo 领先 97.9 分。
- 对比中其他方法出现明显漂移:水下礁石变天空、鹿丢鹿角、角色丢翅膀、红车褪成米白、路面纹理退化甚至整片变黑。
七、开源与获取
- GitHub:github.com/inclusionAI/CodeWorldModel
- Hugging Face:inclusionAI/invoker-render-1.0
- 主页:inclusion-ai.org/CodeWorldModel
八、应用方向
- 游戏原型 / 交互虚拟环境:不必完全依赖传统图形管线渲染全部细节,结构化控制 + 生成式渲染快速搭可玩世界。
- 影视创作:同一事件换摄影机路径生成不同视角,用于镜头预演和分镜设计。
- 路线延续 CWM 1.0 的 "Coding Agent as World Brain",补齐世界构建、规则控制到实时视觉呈现的环节。
【相关 FAQ】
问题 1:Code World Model 2.0 说的 "生成式显卡" 是什么意思?
回答 1:Code World Model 2.0 的 "生成式显卡" 指其核心视觉引擎 Invoker-Render:代码把世界写成结构化 Proxy,由生成模型像显卡渲染画面一样把 Proxy 变成连续高保真画面,相当于给世界模型配上一块负责视觉输出的生成式渲染卡。
问题 2:Code World Model 2.0 的 30 分钟一镜到底是怎么做到的?
回答 2:30 分钟一镜到底靠 ProForcing 三阶段训练(TF+RF 因果适应、RF-DMD 四步蒸馏加 GAN、SF-DMD 自生成训练)让模型在自身生成历史上保持稳定,配合八卡流式推理引擎,赛车连续行驶 30 分钟无切镜、无重置,车身和场景不漂移。
问题 3:Code World Model 2.0 和 Genie 4 这类端到端世界模型有什么区别?
回答 3:Code World Model 2.0 把世界状态管理和视觉生成分开,代码负责物体运动规则与镜头路径并输出 Proxy,Invoker-Render 只负责渲染;端到端模型则要同时维护物理状态和画面合成,复杂交互下控制精度和一致性更难保证。
问题 4:Code World Model 2.0 支持哪几类 Proxy 控制,精度怎么统一?
回答 4:Invoker-Render 支持语义图、稀疏三维框、主体掩码、带明暗几何体、三维框 + 骨架五类 Proxy,同一套模型既能理解粗略框位,也能严格跟随精细骨架关节,训练用约 200 小时多粒度对齐数据完成。
问题 5:Code World Model 2.0 开源了什么,评测成绩如何?
回答 5:CWM 2.0 随报告开源模型权重、基于 SGLang 的单机八卡流式推理引擎和手柄交互前端;140 组测试中画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,对三基线胜率 92.9%/82.9%/62.9%。
【参考资料】
[2026-11-18](给世界模型装上「生成式显卡」!Code World Model 2.0 实现 30 分钟一镜到底)腾讯新闻(机器之心)
[2026-11-18](给世界模型装上 "生成式显卡"!Code World Model 2.0 实现 30 分钟一镜到底)凤凰网科技
【免责声明】
本文基于团队公开技术报告与媒体报道整理,模型能力、评测 Elo 与胜率来自研究方自测,评测采用 Gemini 3.8 Flash 匿名比较,不代表通用产品性能;开源权重与推理系统的授权、硬件要求以 GitHub 和 Hugging Face 官方说明为准,本文不构成技术选型或投资建议。
本文来自作者[零矢映象人]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4126.html
评论列表(4条)
我是乌兰科技网的签约作者“零矢映象人”!
希望本篇文章《Code World Model 2.0 发布给世界模型装上 "生成式显卡",实现 30 分钟一镜到底》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:核心结论:蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0),核心是一套叫 Invoker-Render 的 "生成式渲染引擎 ",相当于给世界模型配了一块 "生成式显卡 ":代码负责把场景布局、物体运动、镜头路径写成结构化 Proxy,生成模型只负责把 Proxy 渲染成连续高保真画面,团队用一段 30 分钟无切镜、无重置的赛车演示证明了长时连续生成的稳定性。这套方案针对端到端世界模型 "控制不精准、长时容易漂移 " 的痛点,把世界状态管理和视觉生成分开;在 140 组流式评测里,画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,并随报告开源了模型、单机八卡流式推理引擎和手柄交互前端。