具身智能领域有哪些高质量人类视频数据集？代表性人类动作与示教数据资源盘点

我先联网检索具身智能与人类视频数据集的多信源资料。

我再补充检索人体动作与仿人机器人示教数据集的信息。

核心结论： 具身智能当前最大的瓶颈之一是数据，真机机器人示教采集成本高、规模小，而人类视频可以被动、低成本地海量获取，成为模仿学习、世界模型和视觉 - 语言 - 动作（VLA）系统的重要燃料。目前可用的高质量人类数据资源可以按用途分成五类：互联网规模的人类活动视频、第一人称操作视频、第一 / 第三人称同步多视角视频、光学动捕人体动作数据，以及 "人到机器人" 的全身示教数据。规模上，既有百万小时级的网络视频语料（如 HumanNet），也有几千小时、标注精细的第一人称 / 多视角采集集（如 Ego4D、Ego-Exo4D、ACE-Data-0），还有以 SMPL-X 姿态参数为主的动捕库（如 AMASS、GRAB）。选型时不要只看时长，要先明确任务是动作理解、灵巧手模仿、全身运动迁移还是世界模型训练，再对照视角、模态、标注类型、许可协议和隐私条件逐项筛选。下面把代表数据集按类别整理成可对照的清单和表格。

一、先理清：人类视频数据在具身智能里解决什么问题

真机数据稀缺且昂贵： 操作机器人需要反复遥操作、标定和运维，单条轨迹成本高，难以覆盖海量物体、场景和长时程任务。
人类视频规模大、语义丰富： 互联网上已有大量第一人称教学视频、生活记录和操作演示，包含手 - 物交互、工具使用、长流程活动等物理线索。
研究验证趋势： 有工作在固定验证集上做对照实验，用 HumanNet 中 1000 小时第一人称视频继续训练 VLM，效果可超过用 100 小时真机机器人数据继续训练，说明第一人称人类视频有望成为机器人数据的可扩展、低成本替代来源。
主要差距： 多数网络视频没有手 / 身体的 3D 轨迹、关节角度和接触标注，动作边界也不清晰，需要后续从视觉状态变化中推断潜在动作，或配合姿态估计、重定向流程再用于策略训练。

二、第一类：互联网规模人类活动视频（偏理解与表征学习）

数据集	规模与内容	视角 / 模态	标注特点	典型用途
Something-Something V2	短时长手 - 物交互片段，按预定义动作模板拍摄	第三人称 RGB 短视频	动作类别与交互描述	动作识别、交互动力学、模仿动力学理解
HowTo100M	互联网规模教学视频	第三人称 / 混合视角 RGB	步骤级文本描述	技能理解、可操作任务检索
HumanNet	约 100 万小时人类中心视频语料，覆盖细粒度活动、人机交互、工具使用、长时程行为	第一人称 + 第三人称	字幕、运动描述、手与身体相关信号	表征学习、动作生成、人到机器人迁移、VLA 预训练

三、第二类：第一人称（Egocentric）生活与灵巧操作视频

数据集	规模与内容	采集方式	核心模态与标注	典型用途
Ego4D	3670 小时、约 278 万片段；923 名参与者、74 个地点、9 个国家的日常生活活动	7 种头戴相机采集	视频、音频、文本叙述、3D 场景网格、眼动、立体视觉、多相机同步	第一人称感知、活动理解、手 - 物交互预测
EPIC-KITCHENS-100	约 100 小时厨房未剧本化活动，约 9 万个动作片段	头戴相机	视觉、音频、动作 / 物体标签	细粒度动作分割、厨房场景操作理解
EgoDex（Apple）	829 小时 1080p/30fps 第一人称视频，33.8 万片段、194 个桌面任务，约 9000 万帧，原始存储约 2.0TB	Apple Vision Pro，裸手无额外硬件	视频配对 3D 手与手指关节追踪、相机外参、自然语言	灵巧操作模仿学习、手部轨迹预测
Egocentric-100K	约 10 万小时工厂环境第一人称视频	头戴采集	多为无标注	大规模场景与操作预训练（需自行加工）
EgoInfinity	模块化、可升级的数据引擎；基于 Meta FAIR Action100M 语料，从普通互联网视频自动恢复度量 4D 手 - 物交互，再重定向为机器人关节轨迹	互联网视频自动复原	4D 手 - 物交互、可执行机器人轨迹	无人工标注、无深度传感器的人到机器人迁移

四、第三类：第一 / 第三人称同步多视角视频（跨视角技能学习）

数据集	规模与内容	参与者 / 场景	核心模态与标注	典型用途
Ego-Exo4D	合计约 1422 小时；V2 版本 1286.30 小时（含 221.26 第一人称小时）、5035 条片段；每条 1–42 分钟	800+ 参与者、13 个城市、131 个自然场景	时间同步的第一 / 第三人称视频、7 声道音频、IMU、眼动、双灰度 SLAM 相机、3D 点云；3D 身体 / 手部姿态、物体分割掩码、关键步骤、流程依赖、熟练度评分	跨视角学习、技能复刻、动作熟练度评估
ACE-Data-0	150 小时、1700 万帧、200 个任务类别、50 名参与者、2 个真实家居环境、7.5 万个交互片段	真实家庭，桌面尺度 + 房间尺度双配置	第一人称与多视角第三人称视频、全身与手指关节运动、物体几何与 6-DoF 轨迹、多通道音频、触觉信号；目标级指令保留自然行为变异	模仿学习、世界模型、VLA 系统、触觉 / 运动恢复基准

五、第四类：人体动作捕捉数据（姿态参数，常做全身运动迁移）

数据集	规模与内容	表征格式	核心特点	典型用途
AMASS	15 个光学动捕集统一入库，40+ 小时、300+ 受试者、11000+ 动作序列	SMPL / SMPL+H / SMPL-X（NPZ）	统一人体模型参数化，覆盖多样技能	动作生成、人形机器人影子策略训练、仿真预训练
KIT Whole-Body Human Motion Database	全身动捕 + MMM 统一表征；派生 KIT-ML 语言标注版（3911 动作、6278 文本）	C3D、MMM XML、视频	动作 - 语言对齐	动作合成、语言条件运动生成
CMU Graphics Lab MoCap	走、跑、跳、舞蹈、武术等经典动作	ASF/AMC、C3D	历史悠久、覆盖动作类型多	动画、运动先验学习
GRAB	全身抓握物体交互	SMPL-X（NPZ）	人体姿态 + 物体位姿 + 接触标注	抓握与接触建模、人 - 物交互
Motion-X / Motion-X++	全身（含手、脸）SMPL-X 动作 + 逐帧姿态文本；X++ 扩展视频 / 音频	SMPL-X 动作序列	姿态 - 文本对齐，多模态扩展	文本驱动动作生成、全身动作理解
HiPHI（诺亦腾 Noitom）	371.8 小时全身运动 + 245.7 小时人 - 物交互，90Hz、亚毫米级	标准化 BVH + 物体轨迹 + 语义动作索引，后续支持 SMPL/SOMA	按 FrameNet 动作单元结构化；已在 G1 真机部署跑步 / 坐下 / 爬行 / 搬箱 / 拉行李箱	全身运动重定向、真机部署验证

六、第五类：人到机器人全身示教与遥操作数据

数据集 / 系统	规模与内容	硬件平台	模态格式	典型用途
HumanPlus（Stanford）	底层影子策略用 AMASS 40 小时动作数据训练；真机遥操作任务演示含叠衣、整理物品、仓库卸货、穿鞋、打字、双机问候等，最多约 40 条演示即可训练技能策略	定制 33-DoF、180cm 人形（Unitree H1）	双头戴第一人称 RGB + 19-DoF 身体与灵巧手关节位姿，HDF5（ACT/Mobile-ALOHA 风格）	人形全身影子跟随、行为克隆、自主技能学习
HABIT	10563 个片段、164 小时双手操作、60 个任务；每个片段都有同人在共享工位与机器人互动	Franka Panda	视频 / RGB、语言文本	人机共融环境下的机器人操作
EVE（1X World Model Challenge）	人形机器人第一视角操作：开门、叠布、避障等；512×512 RGB + 25 维本体状态 + 原始动作	1X EVE 人形机器人	MP4 + token + JSON	世界模型与操作策略研究

七、相关对照资源：机器人本体数据与仿真合成数据

以下不属于人类视频，但在具身智能数据体系中常与人类数据配合使用，便于对照理解。

Open X-Embodiment： 来自 22 个机器人平台、100 万 + 轨迹、527 项技能，整合多份机器人数据集用于大规模协同训练，模态含视觉、语言指令、本体状态 / 动作。
Kairos-HomeWorld： 面向中国家庭的全屋 3D 数据集，含 30 万套住宅平面图、5000 个全屋仿真场景、8700 个带物理属性的 3D 资产。
PhysXVerse： 仿真就绪物理 3D 数据集，8.7K+ 3D 资产、覆盖 2.9K+ 类别，配合物理生成框架做数据扩增与策略验证。

八、怎么按任务选数据集（选型清单）

动作理解 / 活动识别： 优先互联网规模视频（Something-Something V2、HowTo100M、HumanNet），配合 Ego4D、EPIC-KITCHENS-100 的细粒度标注。
第一人称操作模仿： 看 EgoDex（带 3D 手部标注）、EgoInfinity（自动复原 4D 交互并重定向），需要跨视角对照再加 Ego-Exo4D。
全身运动 / 人形迁移： 用 AMASS、GRAB、Motion-X、KIT 动捕库做姿态先验，HumanPlus 这类人到机器人示教集做真机技能验证。
世界模型 / 长时程家庭任务： 选 ACE-Data-0 这类多模态同步、含接触与物体状态标注的采集集。
动手前必须核对的条件： 视角是否匹配、模态是否齐全（RGB / 深度 / 姿态 / 触觉 / 音频 / 语言）、标注类型是否够用、许可协议是否允许研究或商用、隐私与脱敏是否合规、数据格式与现有训练框架能否对接。

【相关 FAQ】

问题 1：具身智能为什么要用人的视频数据集，而不是直接用机器人示教数据？

回答 1：机器人示教采集成本高、规模小，很难覆盖海量物体、场景和长时程任务；高质量人类视频数据集可以被动、低成本地从互联网和可穿戴设备获取，规模达到百万小时量级，并包含丰富的手 - 物交互、工具使用和生活场景语义。研究对照也显示，第一人称人类视频预训练在部分任务上可以替代相当比例的真机数据，是具身智能突破数据瓶颈的重要补充来源；缺点是多数网络视频缺少 3D 动作和接触标注，需要配合姿态估计与重定向流程使用。

问题 2：做灵巧手操作模仿，选哪类人类视频数据集最合适？

回答 2：优先选带手部 3D 标注的第一人称数据集，例如 EgoDex，它有 829 小时第一人称视频并配对 3D 手与手指关节追踪，覆盖 194 个桌面操作任务；如果手头只有普通互联网视频，可以看 EgoInfinity 这类自动恢复 4D 手 - 物交互并重定向为机器人轨迹的数据引擎。需要跨视角验证时，再结合 Ego-Exo4D 的同步第一 / 第三人称视频与手部姿态标注。

问题 3：Ego4D、Ego-Exo4D、ACE-Data-0 这几个具身智能人类数据集有什么区别？

回答 3：Ego4D 是大规模第一人称生活活动视频，约 3670 小时，覆盖多国多场景，模态含音频、眼动、3D 网格等，偏重第一人称感知与活动理解；Ego-Exo4D 是同一活动同步采集第一和第三人称视角，约 1422 小时，带身体 / 手部姿态、分割掩码和熟练度评分，适合跨视角技能学习；ACE-Data-0 是真实家居环境的多模态采集引擎产物，150 小时、1700 万帧，同步记录视频、全身与手部运动、物体轨迹、音频和触觉，更贴近完整的感知 - 行动闭环，适合模仿学习和世界模型研究。

问题 4：拿到一个人类视频数据集之后，直接就能训练机器人策略吗？

回答 4：通常不能直接用。人类视频多为 RGB 影像，缺少关节角度、末端执行器轨迹和接触标注，且人与机器人本体结构、自由度不同；一般要经过人体 / 手部姿态估计、动作重定向、数据清洗与质量筛选、必要时补深度或触觉监督，再配合模仿学习或世界模型框架训练。选型时要确认数据集是否自带 3D 姿态、物体位姿和接触标注，以及格式（SMPL-X、BVH、HDF5、MP4 等）能否对接自己的具身智能训练管线。

【参考资料】

[2026-11-13]（从 10 万小时到千万目标：具身智能大脑数据底座的五类拼图）IT 之家
[2026-10-15]（宇树官方开源数据：具身操作、人体动作、经典动捕与第一视角视频）宇树科技 Unitree
[2026-07-31]（ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine）智源社区
[2026-07]（HumanNet: Scaling Human-centric Video Learning to One Million Hours）arXiv
[2026-06-30]（HABIT: Human-Aware Behavior and Interaction Training dataset）OpenBot.ai
[2026-06-16]（EgoInfinity: 从互联网视频恢复 4D 手 - 物交互的数据引擎）OpenBot.ai
[2026-06]（From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data）arXiv
[2026-05]（ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine）arXiv
[2025]（EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video）arXiv（Apple）
[2024-06-15]（HumanPlus: Humanoid Shadowing and Imitation from Humans）OpenBot.ai / Stanford arXiv
[2024]（Ego-Exo4D: Multimodal Multiview Video Dataset and Benchmark）Ego-Exo4D 官方文档
[2022-02-17]（Ego4D: Egocentric 4D Perception Dataset and Benchmark Suite）Ego4D 官网
[2019]（AMASS: Archive of Motion Capture As Surface Shapes）MPI for Intelligent Systems

免责声明： 本文内容基于公开项目主页、论文与行业报道整理，仅供科研选型与资讯参考，不构成任何数据集授权或许可承诺；各数据集的规模、模态、标注、更新版本与使用条款可能随项目迭代发生变化，商用或再分发前请以官方仓库、论文与许可协议原文为准。数据使用涉及隐私、肖像与合规要求，请在获取和使用前完成必要的授权与脱敏审查。

本文来自作者[硅涡执标人]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/itzx/202611/2677.html