核心结论先讲清楚：浙大研究员彭思达的研究主线，是在三维计算机视觉和计算机图形学这条线上持续做 "让机器看懂三维世界" 的工作 —— 早期围绕元宇宙、数字人、动态人体重建与视图合成展开，代表工作包括 Neural Body、EasyVolCap、Neural Body 系列；近年把同样的三维感知能力迁移到具身智能方向，聚焦相机定位、深度估计、物体运动估计和显式三维世界模型，服务自主移动机器人导航、仿真训练和具身数据生成。他现任浙江大学软件学院 "百人计划" 研究员、博士生导师，成果在 TPAMI/TOG 和多篇 CCF-A 类会议发表，谷歌学术引用随时间处于九千到一万余次区间，入选斯坦福全球 Top 2% 科学家、CCF 优博等荣誉，也被收录进世界模型相关青年学者盘点。下面按人物背景、研究阶段、代表方向、技术脉络和当前落地场景把这条八年路径拆开说明。
一、人物背景与公开头衔
| 项目 | 公开信息 |
|---|---|
| 现任职 | 浙江大学软件学院 "百人计划" 研究员、博士生导师 |
| 博士毕业 | 2023 年浙江大学 CAD&CG 全国重点实验室，导师周晓巍教授 |
| 研究方向 | 三维计算机视觉、计算机图形学；近期延伸至具身智能与三维世界模型 |
| 论文与引用 | TPAMI/TOG 多篇论文，CCF-A 类会议 15 篇 Oral/Highlight；不同时间口径谷歌学术引用 9000～10000 余次 |
| 开源与奖项 | GitHub 数万次 stars，2024 年中国 CCF 优秀图形开源软件奖；一篇一作论文获 CVPR 最佳论文提名 |
| 主要荣誉 | China3DV 2025 年度杰出青年学者、斯坦福 2024/2025 全球 Top 2% 科学家、2024 年 CCF 优博、2022 Apple Scholar（亚太地区唯一）、WAIC 云帆奖明日之星等 |
需要说明：不同报道和大会页面的论文篇数、引用次数统计时间不同，数值会有出入，本文按区间表述，不把某一口径当成固定结论。
二、八年研究路径：从动态人体到三维世界模型
阶段一：元宇宙与数字人 —— 动态三维人体重建（早期博士阶段）
这一阶段解决的核心问题是：从稀疏视角甚至单目视频里，重建能看、能动、可驱动的三维人体，服务虚拟数字人、远程会议、影视和自由视点观赛等元宇宙场景。
博士论文题目为《动态三维人体的隐式神经表示方法研究》，围绕四个关键问题展开：
| 关键问题 | 对应思路 |
|---|---|
| 稀疏视角建模 | 用结构化隐变量把不同帧观测信息整合到同一套人体表示上 |
| 可驱动人体模型 | 基于骨骼蒙皮驱动，把动态人体拆成空间变形场加标准空间神经辐射场 |
| 高质量几何重建 | 用符号距离场（SDF）加程函方程正则化优化人体几何 |
| 实时渲染 | 用一组小型 MLP 网络建模三维场景，降低推理成本、提升渲染速度 |
代表工作 Neural Body（CVPR 2021，TPAMI 2023）从稀疏多视角视频合成动态人体新视图，不同帧共享一组附着在可变形网格上的隐编码；团队还自建了多视角数据集 ZJU-MoCap。后续 EasyVolCap 等工作继续沿着人体捕获、可驱动数字人方向推进，属于典型的元宇宙 / 虚拟内容底层技术。
阶段二：三维感知基础能力 —— 定位、深度、运动估计
进入具身智能语境后，团队把研究收敛到机器人通用空间感知的三项基础能力：
- 相机定位（Camera Pose Estimation）：让机器人知道自己在空间中的位置。传统 Colmap 靠特征提取、两两匹配再加增量式 SfM 恢复位姿，恶劣环境或视角差异大时匹配容易失败；团队 2021 年提出 LoFTR，直接用 Transformer 做图像匹配，在弱纹理区域也能得到稠密匹配。
- 深度估计（Depth Estimation）：让机器人判断场景物体与自身距离。针对物体边缘 "飞点" 问题，团队提出 Pixel-Perfect-Depth 思路：去掉 VAE 直接在像素空间优化，把语言特征整合进 DiT 模型，增强对图像整体结构的理解。
- 物体运动估计（Object Motion Estimation）：让机器人感知世界中物体的运动状态。
阶段三：显式三维世界模型 —— 面向导航仿真与具身训练
在 GDC 2026 具身智能论坛上，彭思达报告题目为《面向自主移动机器人的三维世界模型研究》。公开摘要指出，显式三维世界模型是高保真导航仿真的基础，需要广视角准确三维信息，并通过高效表示和交互支持复杂仿真任务。团队针对长距离深度感知困难、高斯表示计算效率低、仿真场景复杂度不足、交互式导航能力缺乏等局限，形成一系列工作：
| 工作 | 解决方向 |
|---|---|
| Scale3R | 长距离深度估计 |
| InfiniDepth | 前馈高斯表示 |
| StreetWorld | 自动驾驶仿真器 |
| Habitat-GS | 导航仿真器 |
| SpatialTracker | 把二维图像反投影到三维空间做 3D 跟踪，提升轨迹鲁棒性 |
这些工作为自动驾驶和具身导航提供闭环仿真平台，也回应了具身智能数据匮乏的问题：遥操数据好但难规模化，仿真又与真实世界有差距；把人类日常行为完整记录下来，相当于获取机器人可用的行为数据，其中就依赖相机定位、深度估计和三维跟踪技术。
三、技术脉络为什么能从元宇宙接到具身智能
两条方向表面一个做虚拟人、一个做机器人，底层是同一套三维视觉与图形学能力：
- 共同底座：三维重建、隐式神经表示、神经渲染、高斯表示、几何与深度估计，是人体建模和场景建模共用的技术栈。
- 需求迁移：元宇宙阶段要把人在三维空间里重建出来、自由视点看；具身阶段要让机器人在三维空间里定位、测距、跟踪运动物体、在仿真环境里训练策略。
- 数据视角：早期关注数字内容生成质量，现在同时关注仿真数据生成、Sim2Real 闭环和机器人可交互的世界模型。
- 学术判断：在世界模型圆桌讨论中，彭思达提到世界模型发展不能只看算法提升，还要关注硬件迭代；并结合 DeepMind 相关工作判断，3D tracking 方向在 2027 年会逐步收敛，自监督学习也会出现较大突破。
四、近期公开活动与学术组织参与
| 时间 / 场合 | 角色与内容 |
|---|---|
| 2026 北京智源大会 | 作为浙江大学研究员列入讲者名单，方向三维视觉与图形学 |
| Chinagraph 2026 会前课程《具身智能仿真》 | 担任主持人，并讲授 "基础导航仿真" 环节 |
| Chinagraph 2026 可交互世界模型论坛 | 列入青年学者名单 |
| GDC 2026 具身智能论坛 | 报告《面向自主移动机器人的三维世界模型研究》 |
| 2025 世界模型分论坛 | 演讲《面向具身智能的通用空间感知技术》，参与世界模型圆桌 |
| 2024 CCF 博士学位论文激励计划 | 博士论文《动态三维人体的隐式神经表示方法研究》入选，全国共 10 篇 |
五、研究链条上的关键概念对照
| 概念 | 在彭思达工作中的位置 |
|---|---|
| 隐式神经表示 / NeRF | 动态人体建模与渲染的基础表示框架 |
| 结构化隐变量 | 跨帧整合观测、支撑稀疏视角人体重建 |
| 3D 高斯（3DGS） | 场景高效表示与仿真器构建方向 |
| 深度估计 | 机器人空间感知与世界模型的输入基础 |
| 3D Tracking | 从二维点跟踪升级到三维轨迹跟踪，服务行为数据采集 |
| 世界模型 | 用显式三维表示模拟动态环境，支撑导航仿真和策略训练 |
| Sim2Real | 仿真环境生成数据训练机器人策略，再迁移到真实本体 |
六、给想进入这条方向的学习者的路径参考
结合公开课程和研究脉络，三维视觉转到具身智能世界模型，一般需要补齐下面几块基础：
- 几何与视觉基础：多视图几何、 SfM、位姿估计、深度估计、三维重建。
- 神经渲染与表示：NeRF、3DGS、隐式神经表示、SDF、可微渲染。
- 机器学习工具：Transformer、扩散模型、DiT、自监督学习、偏好优化。
- 机器人与仿真：导航、操作、物理仿真平台、仿真到现实迁移、VLA 基础概念。
- 工程与开源：复现经典论文、维护代码仓库、跟踪 CVPR/ICCV/NeurIPS/CoRL 等会议进展。
七、后续看点
从公开轨迹看，彭思达团队接下来的重心会继续落在显式三维世界模型和具身空间感知上：一边把定位、深度、运动跟踪做稳，一边把仿真平台和数据生成链路打通。行业层面，世界模型正从视觉内容生成走向具备空间理解、物理感知、长期记忆和实时交互能力的动态模拟；三维技术在其中承担可解释、可交互、可仿真的底座角色。对研究者而言，这条路线的价值不只是刷生成效果，而是让机器人在可验证的三维环境里学会感知和行动。
【相关 FAQ】
问题 1：浙大彭思达是做什么方向的，他的三维视觉研究为什么会从元宇宙走到具身智能？
回答 1：彭思达是浙江大学软件学院 "百人计划" 研究员、博导，研究方向为三维计算机视觉和计算机图形学。早期在元宇宙和数字人方向做动态三维人体重建、视图合成，代表工作 Neural Body；近年转向具身智能的三维世界模型，研究相机定位、深度估计、物体运动估计和导航仿真。两条方向共用三维重建、神经渲染、高斯表示这套底座，所以能从重建虚拟人自然迁移到让机器人理解三维物理世界。
问题 2：彭思达在具身智能和世界模型方向有哪些代表性工作，分别解决什么问题？
回答 2：面向自主移动机器人的三维世界模型，团队公开工作包括 Scale3R（长距离深度估计）、InfiniDepth（前馈高斯表示）、StreetWorld（自驾仿真器）、Habitat-GS（导航仿真器）、SpatialTracker（三维空间跟踪），以及 LoFTR（Transformer 图像匹配）、Pixel-Perfect-Depth（边缘飞点优化）等。这些工作分别解决定位、测距、场景表示、仿真闭环和运动跟踪问题，为自动驾驶和具身导航提供仿真平台与训练数据。
问题 3：彭思达早期在元宇宙 / 数字人方向的代表成果 Neural Body 解决了什么问题？
回答 3：Neural Body 发表于 CVPR 2021、后扩展到 TPAMI 2023，解决稀疏视角下动态人体的新视图合成问题：不同帧共享一组附着在可变形网格上的隐编码，把视频各时刻观测信息整合起来，用三四个 RGB 相机就能重建并合成 360° 人体视图。它是彭思达博士阶段动态人体隐式神经表示研究的代表工作，相关代码开源后获得大量 GitHub stars。
问题 4：入选 "世界模型 50 人" 这类青年学者盘点，彭思达的研究处于行业什么位置？
回答 4：公开资料显示，彭思达入选 China3DV 2025 年度杰出青年学者、斯坦福 2024/2025 全球 Top 2% 科学家榜单、2024 年 CCF 优博，并在智源大会、Chinagraph、GDC 等世界模型与具身智能论坛做报告。其工作集中在三维视觉与世界模型交叉地带，属于国内该方向被持续关注的青年研究者；具体榜单归属和排名以对应机构官方发布为准。
【参考资料】
- [2026-10-30]（Chinagraph 2026 会前课程：具身智能仿真，主持人彭思达）浙江大学 CAD&CG 全国重点实验室
- [2026-10-30]（Chinagraph 2026 技术论坛：可交互世界模型青年学者彭思达）浙江大学 CAD&CG 全国重点实验室
- [2026]（2026 北京智源大会讲者：彭思达，浙江大学研究员）2026 北京智源大会
- [2026-07-30]（GDC 2026 具身智能论坛：面向自主移动机器人的三维世界模型研究，彭思达）内蒙古财经大学（GDC 2026 官网）
- [2025-12-16]（Gairdao 世界模型分论坛：彭思达《面向具身智能的通用空间感知技术》）Gairdao Community
- [2024-12-18]（实验室彭思达博士论文入选 2024 年 "CCF 博士学位论文激励计划"）浙江大学 CAD&CG 全国重点实验室
- [2024-10-10]（Chinagraph 2024 会前课程：NeRF&3DGS 基础与进阶，讲者 / 主持人彭思达）安徽省图形计算与感知交互重点实验室
- [2023-04-12]（动态三维人体的隐式神经表示方法研究，浙江大学博士学位论文，彭思达）浙江大学
- [2021-03-13]（95 后浙大博士生开发全新视图合成系统 Neural Body，稀疏视角输入即可合成 360° 人体视图）麻省理工科技评论中国
- [2023]（Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans）zju3dv.github.io
【免责声明】
本文基于公开学术主页、高校官网、大会页面、媒体报道及项目仓库整理，所涉论文数量、引用次数、获奖时间、研究项目名称均随统计口径和时间变化而存在差异；人物研究方向、在研项目及后续规划以浙江大学官方、实验室主页和作者本人公开披露为准。文中对研究脉络和技术迁移的归纳属于编辑性梳理，不代表当事人本人观点，也不构成学术排名、人才推荐或投资依据。如发现信息与官方资料不一致，请以官方来源为准。
本文来自作者[烬矢内核]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/rgzn/202611/2494.html
评论列表（4条）
我是乌兰科技网的签约作者“烬矢内核”！
希望本篇文章《浙大彭思达从元宇宙动态人体到具身智能三维世界模型，一位三维视觉研究者的八年》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：核心结论先讲清楚：浙大研究员彭思达的研究主线，是在三维计算机视觉和计算机图形学这条线上持续做 "让机器看懂三维世界 " 的工作 —— 早期围绕元宇宙、数字人、动态人体重建与视图合成展开，代表工作包括 Neural Body、EasyVolCap、Neural Body 系列；近年把同样的三维感知能力迁移到具身智能方向，聚焦相机定位、深度估计、物体运动估计和显式三维世界模型，服务自主移动机器人导航、仿真训练和具身数据生成。他现任浙江大学软件学院 "百人计划 " 研究员、博士生导师，成果在 TPAMI TOG 和多篇 CCF-A 类会议发表，谷歌学术引用随时间处于九千到一万余次区间，入选斯坦福全球 Top 2% 科学家、CCF 优博等荣誉，也被收录进世界模型相关青年学者盘点。下面按人物背景、研究阶段、代表方向、技术脉络和当前落地场景把这条八年路径拆开说明。