Code World Model 2.0 发布给世界模型装上 "生成式显卡",实现 30 分钟一镜到底

核心结论:蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0),核心是一套叫 Invoker-Render 的 "生成式渲染引擎",相当于给世界模型配了一块 "生成式显卡":代码负责把场景布局、物体运动、镜头路径写成结构化 Proxy,生成模型只负责把 Proxy 渲染成连续高保真画面,团队用一段 30 分钟无切镜、无重置的赛车演示证明了长时连续生成的稳定性。这套方案针对端到端世界模型 "控制不精准、长时容易漂移" 的痛点,把世界状态管理和视觉生成分开;在 140 组流式评测里,画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,并随报告开源了模型、单机八卡流式推理引擎和手柄交互前端。

一、要解决什么问题

交互式世界模型要 "听话",必须同时具备两种能力:

  • 控制精度:用户操作指令得到准确响应(拨摇杆,车就转向)。
  • 时序一致性:世界持续变化时,物体身份、外观、状态保持稳定,"该变的变,不该变的不变"。

端到端路线(如 Google DeepMind Genie 4)让一个模型同时干两件事:像物理引擎一样维护物体状态和规则,又像渲染器一样合成材质光照,交互一复杂,精准控制和修改规则就很困难。CWM 2.0 选择把两件事拆开。

二、整体架构:代码管世界,生成模型管画面

层职责具体内容
代码层(世界程序)定义物体、运动规则、摄影机路径输出结构化 Proxy(场景布局、位置、朝向、轨迹、镜头变化)
生成层(Invoker-Render)视觉呈现补充材质、纹理、光影、局部细节,输出连续高保真画面

基座基于 MiniMax-H3,构建两种互补模型,共享结构 Proxy、外观参考图、文本条件同一套输入接口:

  • 双向创作模型:读取完整 Proxy 序列、利用前后文,适合离线视频创作和复杂运镜预规划。
  • 因果四步流式模型:不能提前看到未来,逐块接收新 Proxy 并结合历史画面持续生成,适合实时交互。

三、五类 Proxy:一套模型统一不同粒度控制

Invoker-Render 支持五类结构表示:

  1. 语义图(Semantic Map)
  2. 稀疏三维框(Sparse 3D Boxes)
  3. 主体掩码(Subject Mask)
  4. 带明暗的几何体(Shaded Geometry)
  5. 三维框与骨架(Boxes + Skeletons)

同一类表示内部也能适应不同精度:简单人体结构模型自行补全迈步摆臂;输入精细骨架时则严格跟随关节姿态。赛车场景几个三维框就够,格斗场景则需要完整骨架。

训练数据:约 200 小时多粒度对齐数据,其中约 150 小时为自采三维交互与驾驶序列,约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集;通过场景重建和运动恢复,从同一场景生成不同精度 Proxy 并与真实视频配对。

镜头控制:同一事件可按不同摄影机路径生成不同视角,演示了 Orbit 环绕拍摄与 Crane Up 升降拍摄。

四、ProForcing:解决 30 分钟不跑偏的训练方法

流式生成无法提前看完整视频,前面画面的误差会被后续继承累积(红车慢慢褪成米白、鹿角翅膀丢失、路面变黑)。团队提出 Progressive Forcing(ProForcing)三阶段训练:

阶段方法目标
1 因果适应Teacher Forcing(真实视频历史)+ Resampling Forcing(引入重建误差)让模型适应不完美的历史
2 少步蒸馏RF-DMD 把生成蒸馏为四步,加 GAN 对抗监督防少步生成细节损失、过度平滑
3 长序列自生成SF-DMD(Self-Forcing DMD)在自身连续生成历史上训练,延续学生模型、Fake Score、判别器、优化器状态和 EMA 权重长时自洽稳定

成果:30 分钟赛车演示无切镜、无重置;另两组约 5 分钟序列(298 秒、299 秒)持续跟随轨迹并保持车辆外观。

五、推理系统:单机八卡流式引擎(随报告开放)

  • 结构:基于 SGLang 与 SGLang-Omni 构建。
  • 前向压缩:结构化块因果掩码把每个视频块主干前向从 6 次减到 4 次,约省三分之一调用开销(历史提交、条件预填充、第一步去噪融合为一次前向)。
  • 缓存复用:常驻外观参考锚点、持久化 KV 缓冲区、零拷贝滑动窗口,减少重复计算和数据搬运。
  • 八卡流水线:Proxy 编码、视频生成、视频解码部分并行,生成当前块时并行准备下一块、解码上一块。
  • 配套工具:WebSocket 会话服务、文件推理客户端、支持手柄交互的浏览器前端。

六、评测成绩:140 组测试四项第一

评测设置:140 组留出测试序列(不同三维环境、多主体交互、不同 Proxy 表示),Gemini 3.8 Flash 匿名两两比较,Bradley–Terry 模型拟合 Elo。

维度Invoker-Render Elo
画面质量1336.4
结构与运动1309.0
参考外观保持1214.1
综合偏好1343.2
  • 对三款流式渲染基线综合偏好胜率:92.9%、82.9%、62.9%。
  • 对最强的 Other Work-3,综合偏好 Elo 领先 97.9 分。
  • 对比中其他方法出现明显漂移:水下礁石变天空、鹿丢鹿角、角色丢翅膀、红车褪成米白、路面纹理退化甚至整片变黑。

七、开源与获取

  • GitHub:github.com/inclusionAI/CodeWorldModel
  • Hugging Face:inclusionAI/invoker-render-1.0
  • 主页:inclusion-ai.org/CodeWorldModel

八、应用方向

  • 游戏原型 / 交互虚拟环境:不必完全依赖传统图形管线渲染全部细节,结构化控制 + 生成式渲染快速搭可玩世界。
  • 影视创作:同一事件换摄影机路径生成不同视角,用于镜头预演和分镜设计。
  • 路线延续 CWM 1.0 的 "Coding Agent as World Brain",补齐世界构建、规则控制到实时视觉呈现的环节。

【相关 FAQ】

问题 1:Code World Model 2.0 说的 "生成式显卡" 是什么意思?

回答 1:Code World Model 2.0 的 "生成式显卡" 指其核心视觉引擎 Invoker-Render:代码把世界写成结构化 Proxy,由生成模型像显卡渲染画面一样把 Proxy 变成连续高保真画面,相当于给世界模型配上一块负责视觉输出的生成式渲染卡。

问题 2:Code World Model 2.0 的 30 分钟一镜到底是怎么做到的?

回答 2:30 分钟一镜到底靠 ProForcing 三阶段训练(TF+RF 因果适应、RF-DMD 四步蒸馏加 GAN、SF-DMD 自生成训练)让模型在自身生成历史上保持稳定,配合八卡流式推理引擎,赛车连续行驶 30 分钟无切镜、无重置,车身和场景不漂移。

问题 3:Code World Model 2.0 和 Genie 4 这类端到端世界模型有什么区别?

回答 3:Code World Model 2.0 把世界状态管理和视觉生成分开,代码负责物体运动规则与镜头路径并输出 Proxy,Invoker-Render 只负责渲染;端到端模型则要同时维护物理状态和画面合成,复杂交互下控制精度和一致性更难保证。

问题 4:Code World Model 2.0 支持哪几类 Proxy 控制,精度怎么统一?

回答 4:Invoker-Render 支持语义图、稀疏三维框、主体掩码、带明暗几何体、三维框 + 骨架五类 Proxy,同一套模型既能理解粗略框位,也能严格跟随精细骨架关节,训练用约 200 小时多粒度对齐数据完成。

问题 5:Code World Model 2.0 开源了什么,评测成绩如何?

回答 5:CWM 2.0 随报告开源模型权重、基于 SGLang 的单机八卡流式推理引擎和手柄交互前端;140 组测试中画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,对三基线胜率 92.9%/82.9%/62.9%。

【参考资料】

[2026-11-18](给世界模型装上「生成式显卡」!Code World Model 2.0 实现 30 分钟一镜到底)腾讯新闻(机器之心)

[2026-11-18](给世界模型装上 "生成式显卡"!Code World Model 2.0 实现 30 分钟一镜到底)凤凰网科技

【免责声明】

本文基于团队公开技术报告与媒体报道整理,模型能力、评测 Elo 与胜率来自研究方自测,评测采用 Gemini 3.8 Flash 匿名比较,不代表通用产品性能;开源权重与推理系统的授权、硬件要求以 GitHub 和 Hugging Face 官方说明为准,本文不构成技术选型或投资建议。

本文来自作者[零矢映象人]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4126.html

赞 (5)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 零矢映象人
    零矢映象人 2026年11月18日

    我是乌兰科技网的签约作者“零矢映象人”!

  • 零矢映象人
    零矢映象人 2026年11月18日

    希望本篇文章《Code World Model 2.0 发布给世界模型装上 "生成式显卡",实现 30 分钟一镜到底》能对你有所帮助!

  • 零矢映象人
    零矢映象人 2026年11月18日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 零矢映象人
    零矢映象人 2026年11月18日

    本文概览:核心结论:蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0),核心是一套叫 Invoker-Render 的 "生成式渲染引擎 ",相当于给世界模型配了一块 "生成式显卡 ":代码负责把场景布局、物体运动、镜头路径写成结构化 Proxy,生成模型只负责把 Proxy 渲染成连续高保真画面,团队用一段 30 分钟无切镜、无重置的赛车演示证明了长时连续生成的稳定性。这套方案针对端到端世界模型 "控制不精准、长时容易漂移 " 的痛点,把世界状态管理和视觉生成分开;在 140 组流式评测里,画面质量、结构与运动、参考外观保持、综合偏好四项 Elo 全部第一,并随报告开源了模型、单机八卡流式推理引擎和手柄交互前端。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们