英伟达开源Lyra 2.0单图生成约90米3D世界，80帧生成提速约13倍

我先检索英伟达 Lyra 2.0 的最新公开信息，确认核心参数口径。

已找到官方项目页与论文，我再核实一下开源许可和 90 米口径的原始表述。

英伟达 Lyra 2.0 开源：一张照片生成 90 米 3D 世界，80 帧生成从 194 秒压缩到 15 秒

这件事的核心可以一句话说完：英伟达 Spatial Intelligence Lab 把 Lyra 2.0 放出来了，代码在 GitHub（Apache 2.0）、权重在 Hugging Face，输入一张 832×480 的静态照片、在交互界面里画一条相机轨迹，它就能持续往外 “长” 出一个跨度约 90 米、可以走回去再看一遍的可探索三维环境，最后重建为 3D 高斯泼溅（3DGS）和三角网格，直接丢进 Isaac Sim 这类物理引擎里跑机器人仿真。速度上是这次最出圈的点：完整模型在单张 GB200 上生成一段 80 帧要约 194 秒，蒸馏后的 4 步版本只要约 15 秒，约 13 倍。但 “开源” 这两个字需要拆开看 —— 代码是 Apache 2.0，模型权重不是，走的是 NVIDIA 内部科研许可，只能研发用，不能部署、分发、商用。这一点几乎所有中文转述都漏了。

一、三个数字，先对齐口径

标题里那三个数并不是同一件事，混着读很容易理解错。

说法	实际含义	口径来源
约 90 米	单张输入图 + 一条连续相机路径，能生成并保持一致的场景跨度，不是 “一只模型能生成 90 米见方的方块”	论文与项目页表述为 up to 90 meters
80 帧	一个自回归步长生成的视频片段长度，不是一个 3D 世界的总帧数；长视频由多个 80 帧片段首尾拼接	论文 Runtime 小节
约 13 倍	同一块 GB200 上，35 步 + CFG 的完整模型 194 秒 vs 4 步 DMD 版本 15 秒，比值约 12.9	论文 Runtime 小节

需要提醒的是硬件差异。德文技术博客实测在单张 H100 80GB 上，80 帧约 9 分钟，随后 3D 重建约 1 分钟。也就是说，13 倍是 “同卡同条件” 的对比，不是 “随便一张卡都能 15 秒”。

二、它解决的其实是两个老毛病

长距离生成之所以一直不好用，卡在两件事上，Lyra 2.0 是分别下药的。

空间遗忘：相机走远之后，早先看过的区域掉出了模型有限的上下文窗口，等镜头折返，模型只能凭印象重新 “编” 一遍，于是门的位置变了、墙的走向歪了。Lyra 2.0 的做法是给每一帧存一份独立的 3D 几何（全分辨率深度图 + 降采样点云），但这套几何只用来做 “信息路由”—— 挑出对当前视角最可见的历史帧、建立稠密对应关系，具体画面长什么样仍然交给扩散模型的生成先验。关键在于它不做全局点云融合，避免深度误差越滚越歪。

时间漂移：自回归生成每一步都会留一点小误差，几十段之后颜色偏了、结构软了。解法是自增强训练 —— 训练时按 0.7 的概率把模型自己 “一步去噪” 的粗糙结果喂回去当条件，让它在训练阶段就熟悉自己推理时会犯的错，学会纠偏而不是把错误继续往下传。再叠一层 FramePack 做历史压缩，把 token 预算省下来。

消融数据能说明这两块不是装饰：去掉自增强，风格一致性从 85.07 掉到 77.98；去掉 FramePack，重投影误差从 0.069 涨到 0.079。

三、完整跑一遍是什么流程

给图：一张 832×480 的图片，室内、街景、野外都行，越接近真实拍摄效果越稳。
定轨迹：在自带的交互式 3D 浏览器里画相机路径，可以回头、可以拐进没生成过的方向，还能加一句文本提示约束内容。
逐段生成：模型按 80 帧一段往外推，每段结束把新帧写回 3D 缓存，缓存随迭代增长，所以轨迹理论上可以无限延长。
重建与导出：视频交给微调过的 Depth Anything V3 转 3DGS（Gaussian 头做了 k=2 降采样，高斯数量压到 1/4），再走 OpenVDB 层级稀疏网格 + marching cubes 抽表面网格。
进仿真：3DGS 负责外观、网格负责碰撞面，导入 Isaac Sim 做机器人导航与交互训练。

底层不是从零训的模型，主干是 Wan 2.1-14B 这个 DiT，64 张 GB200、batch 64、7000 次迭代，数据取自 DL3DV 的 10000 条长视频。

四、性能账本

项目	数值	条件
完整模型单段耗时	约 194 秒 / 80 帧	GB200，35 步 + CFG 5.0
蒸馏版本单段耗时	约 15 秒 / 80 帧	GB200，4 步、无 CFG
空间记忆检索	< 1 秒 / 段	两种版本都是
H100 实测	约 9 分钟 + 约 1 分钟重建	单卡 H100 80GB
显存门槛	80GB 起	14B 参数全精度推理
权重体积	约 30GB	Hugging Face 下载

基准成绩（Tanks and Temples）对比 GEN3C、CaM、SPMem 三项：

方法	SSIM↑	LPIPS↓	FID↓	风格一致性↑
Lyra 2.0	0.384	0.552	51.33	85.07
SPMem	0.383	0.571	60.11	79.68
CaM	0.367	0.605	59.20	82.83
GEN3C	0.350	0.589	79.07	75.54

相机控制指标 63.87，也是同批里最高的。

五、能用在哪，不能用在哪

现在就能用的

机器人 / 具身智能的仿真环境：拿一张真实场地照片，几分钟内出一个可训练的场景，省掉扫描和建模。
无人车、仓储 AGV 的路径与感知训练数据补充。
影视预演、游戏关卡的粗场景，先走一遍镜头再决定要不要精修。

现在还不行

动态场景：论文明确说只做静态环境，没有行人、车辆、天气、物理交互。
精确几何：看不见的房间和背面是 “估” 出来的，不是 “测” 出来的，网格可能破面或拓扑需要修。
拿来即用：导出的网格不带碰撞、质量、材质、关节、语义标签，这些还得人工补。
商用：权重许可不允许生产部署，也不允许分发衍生模型。

六、“开源” 到底开了多少

这是本次最该说清楚的一条。

对象	许可	能做什么
代码（GitHub：nv-tlabs/lyra）	Apache 2.0	可改、可再分发、可商用
模型权重（Hugging Face：nvidia/Lyra-2.0）	NVIDIA Internal Scientific Research and Development Model License	仅内部科研与开发，不得部署、不得分发、不得商用，衍生模型同样受限
依赖项	需自查	Wan 2.1-14B 等上游组件各自的条款要单独确认

所以 “英伟达开源 Lyra 2.0” 这句没错，但完整说法应该是：代码开源、权重受限、商用待授权。对实验室和研究者，这已经够用了；对想直接接进产品线的人，还得等商业许可。顺带说一句，项目页 5 月 8 日曾短暂做过匿名化处理，一度需要靠搜索才能找到代码和引用，这也是为什么不同时间点的报道对 “是否已开源” 说法不一致。

相关 FAQ

问题 1：英伟达 Lyra 2.0 说的 “一张照片生成 90 米 3D 世界”，90 米到底指什么？

回答 1：指的是从这张输入照片出发，沿一条连续相机轨迹向外生成、并且始终保持几何与外观一致的场景跨度上限，约 90 米。它是 “可漫游范围” 的量，不是模型一次性输出的包围盒尺寸，也不等于每张照片都一定能铺到 90 米 —— 输入图的视角、遮挡和纹理丰富度都会影响实际能走多远。

问题 2：Lyra 2.0 开源之后，我可以直接拿它做商业产品吗？

回答 2：不行，至少现在不行。Lyra 2.0 的代码是 Apache 2.0，允许商用；但模型权重走的是 NVIDIA 内部科研许可，明确禁止部署、分发和商业用途，衍生模型同样受限。想商业化，要么等英伟达开放商业授权，要么只用代码、不用官方权重。

问题 3：Lyra 2.0 生成 80 帧只要 15 秒，为什么我跑起来慢很多？

回答 3：15 秒是 4 步蒸馏版在单张 GB200 上的成绩，完整 35 步版本同一块卡要 194 秒；换成 H100 80GB，80 帧大约 9 分钟再加约 1 分钟重建。速度差异来自显卡型号、是否用 DMD 蒸馏权重、是否开 CFG 三个变量，缺一个就对不上这个数。

问题 4：Lyra 2.0 生成的 3D 世界能直接放进 Isaac Sim 训练机器人吗？

回答 4：可以导入，但要先做加工。Lyra 2.0 输出的是 3DGS（.ply）加三角网格，视觉和碰撞面有基础，但碰撞体、质量、材质、关节、语义标签这些物理属性它不提供，得在仿真侧补齐；另外没被观测到的区域是模型估计出来的，几何只是近似正确，复杂场景下网格可能需要修补。

问题 5：Lyra 2.0 和普通视频生成模型差在哪，为什么它算 “3D 世界” 而不是 “一段视频”？

回答 5：差在能不能回头。普通视频模型是单向往前生成，镜头一回到走过的地方就重新编；Lyra 2.0 靠逐帧独立的 3D 几何缓存做检索，折返时把最可见的历史帧按稠密对应关系喂回去，所以同一处墙、同一扇门在不同时间点看是一致的，再叠上自增强训练压住漂移，这段长视频才能被稳定 “抬” 成 3DGS 和网格。

问题 6：Lyra 2.0 现在最大的短板是什么？

回答 6：静态。它只建静态环境，不处理行人、车辆、天气这类动态元素，也不做物理模拟；对仓储、厂区这类相对固定的场地够用，对任何需要 “动起来” 的场景就不够，这也是论文自己列出的后续方向。

参考资料

[2026-11-10]（一张照片生成 90 米 3D 世界！英伟达 Lyra 2.0 开源：速度暴增 13 倍）快科技 / 新浪科技

[2026-11-08]（NVIDIA veröffentlicht Lyra 2.0 für 3D-Szenen aus einem einzigen Foto）codedtrip

[2026-04-21]（NVIDIA Lyra 2.0 - Explorable 3D Worlds from One Photo）Awesome Agents

[2026-04-20]（NVIDIA Lyra 2.0: Open Source 3D World Generation from a Single Image）AI FILMS Studio

[2026-04-20]（Generate Walkable 3D Worlds from a Single Image! NVIDIA Open Sources Lyra 2.0）AIbase

[2026-04-17]（英伟达发布 Lyra 2.0：单张照片 AI 生成 90 米 3D 场景，仿真训练机器人提速）IT 之家

[2026-04-15]（Lyra 2.0: Explorable Generative 3D Worlds 项目主页）NVIDIA Research

[2026-04-14]（Lyra 2.0: Explorable Generative 3D Worlds，arXiv:2604.13036）arXiv

免责声明

本文基于公开可查的官方项目页、论文与媒体报道整理，所引数值均标注了对应口径与测试条件，不同硬件、不同权重版本下的实测结果可能存在明显差异。文中涉及的开源许可判断以项目页与 Hugging Face 模型卡当前公开信息为准，英伟达后续可能调整授权条款，实际使用前请自行核对最新许可文本。本文不构成任何采购、投资或商业决策建议，也不对依据本文内容进行的技术选型与合规判断承担责任。

本文来自作者[零矢映射]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/shouji/202611/995.html