Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

NVIDIA Human-1M-100K

100,000 小时第一人称手工劳动视频,附手部姿态和带时间的任务标注

许可证

CC BY 4.0

数据:CC BY 4.0,依据数据集卡片中的 Governing Terms 及其在 Hugging Face 上的许可标签;卡片称数据可用于商业和非商业用途。署名:再利用时须注明 NVIDIA 并链接许可。视频中的人:CC BY 4.0 不授予隐私权或肖像权,卡片也未说明同意情况。硬件原型:位于单独的仓库,软件采用 Apache-2.0,硬件设计采用 CC BY 4.0。模型:GR00T 2 尚未发布,其条款未知。2026-11-10 对照数据集仓库中的 README.md 和 DATASET_CARD.md 以及硬件仓库的 LICENSE 文件核对。

概述

Human-1M-100K 是 Human-1M 中公开发布的部分。后者是 NVIDIA 收集的约一百万小时第一人称视频,记录人们从事体力劳动的过程,并用传感器同步采集,使视频附带头部和手部运动以及语言描述。这一开放子集包含 100,000 小时、3,405,573 个片段(episode),涉及 406,815 个已记录的任务簇、41,288 名采集者、81,557 个场景和九类环境,既在真实的住宅和工作场所拍摄,也在摄影棚中拍摄。每个片段包含头戴相机视频(单目或双目,部分还带腕部相机)、头戴相机位姿、每只手 21 个带置信度的关键点、一到两句话的目标描述(T1),以及一系列 1 到 10 秒的带时间动作(T2)。数据采用 LeRobot v3.0 格式,以 CC BY 4.0 许可发布,可用于商业和非商业用途,于 2026年11月4日 在 Hugging Face 上发布。NVIDIA 表示 Human-1M 是其 Cosmos 和 GR00T 模型的训练数据,其 GR00T 2 研究页面也将它列为该模型人类视频的来源。

Human-1M 是 NVIDIA 用传感器采集的人类示范合集:约一百万小时第一人称视频,记录人们用双手工作,从备餐、上架补货,到打包订单、组装零件和维修设备。2026年11月4日,NVIDIA 以 CC BY 4.0 许可在 Hugging Face 上发布了其中 100,000 小时,名为 Human-1M-100K。此次发布共有 3,405,573 个片段、406,815 个已记录的任务簇、41,288 名采集者、81,557 个场景和九类环境。一部分在真实环境中录制,即真实的住宅和工作场所;另一部分在摄影棚中录制,便于重复特定技能、装配和实验室流程。

一个片段是一个人朝着可衡量的目标完成一项有用的工作,通常需要 5 到 10 分钟。视频必须至少为 30 FPS、480p,保持原速,且在至少 95% 的时长内画面中有一只或两只手。头戴相机为单目或双目,部分片段还在每只手腕上加装一台相机。每一帧都带有头戴相机的 6-DoF 位姿、每只手 21 个关键点(以米为单位的位置和旋转),以及每只手的可见性掩码和置信度。语言标注分两级:T1 用一到两句话概括目标、主要动作和关键物体;T2 把整个片段切分为连续的 1 到 10 秒片段,每段都写明哪只手对哪个物体做了什么。片段还记录了相机标定、国家代码、拍摄地点是公共还是私人场所,以及经过假名化处理的采集者、场景和来源标识。

NVIDIA 介绍了四道质量关卡,结合人工审核与自动检查,涵盖标注、任务价值、多样性和 3D 跟踪。其自有的审核图表覆盖 25 个交付周,接受 561,000 小时,拒收提交的 461,000 小时。

数据以 LeRobot v3.0 数据集形式存储,按供应商、批次和版本组织,用 Parquet 表存储帧、片段、任务、子任务、环境和场景,每台相机对应一个 MP4 文件。字段说明 记录了每一列的含义。完整数据存放在 Hugging Face 的公开 存储桶 中,2026年11月10日 显示为 1,321 TB、2,561,357 个文件,因此大多数用户只会下载其中一部分。下载前如想先看看,数据集仓库提供简短的预览片段和三个 完整示例片段,Human-1M Dataset Explorer 则可在浏览器中查看视频、3D 重建、机器人重定向、T2 标注,并按任务簇搜索。

NVIDIA 的 GR00T 2 研究页面 称,该模型使用来自 Human-1M 的 402,730 小时第一人称人类视频进行预训练,同时还使用了 10,184 小时手持夹爪示范和 23,500 小时机器人遥操作数据。在 NVIDIA 自己的测试中,人类视频从完全不用增加到全部使用,使 72 项机器人任务的任务进度从 50% 提升到 70%。GR00T 2 本身尚未发布:页面写明代码将于 2026年12月 提供。数据集卡片还提到 Human-1M 为 NVIDIA 的 Cosmos 模型提供数据。另外,NVIDIA 公开了为采集 GR00T 2 数据而制作的手持和可穿戴设备的 硬件设计,其软件位于 GR00T 数据硬件仓库。

为何重要

机器人学习所需的熟练手部操作示例远多于机器人自身能录制的数量:遥操作既慢又贵,而普通的人类视频缺少手部运动和标注,模型难以从中学到动作。Human-1M-100K 提供 100,000 小时真实劳动数据,已附带头部和手部姿态以及带时间的动作标注,采用允许商用的 CC BY 4.0 许可。这使它成为本目录中最大的开放第一人称人类操作数据集,同类的还有规模较小的 Eidon Tracker POV,以及无机器人操作数据 HiFi-UMI-2K。它可用于预训练 VLA 和世界模型,用于模仿学习研究,以及把人手动作重定向到机器人手上,并采用许多机器人学习工具已经能读取的 LeRobot 格式。按 NVIDIA 的说法,它也是下一代 GR00T 基础模型背后的人类数据,因此任何人都可以在模型发布之前先研究这些数据。

解决的问题

教机器人用手需要大量示范数据,而通过机器人遥操作采集既慢又贵,还只能覆盖实验室能够布置的任务。人们做真实工作的视频很多,但没有手部运动和任务结构,模型难以从中学到动作。Human-1M-100K 提供大规模的真实人类劳动数据,并已补齐缺失的部分:头部和手部姿态、每只手的置信度、每个片段的目标以及带时间的动作标注,采用有文档的 LeRobot 格式,许可允许商用。

要点

  • 100,000 小时第一人称人类劳动视频,是 NVIDIA 一百万小时 Human-1M 合集的开放子集
  • 3,405,573 个片段,来自 41,288 名采集者,覆盖 81,557 个场景、406,815 个任务簇和九类环境
  • 单目或双目头戴视频、可选腕部相机、头戴相机 6-DoF 位姿,以及每只手 21 个带置信度的关键点
  • 两级语言标注:每个片段一个目标(T1),以及连续的 1 到 10 秒带时间动作(T2)
  • LeRobot v3.0 格式,附字段说明、预览片段、三个完整示例片段和浏览器端浏览工具
  • CC BY 4.0,可商用;NVIDIA 称 Human-1M 是 GR00T 2 背后的人类视频来源

适用人群

  • 用人类示范数据预训练 VLA、世界模型和机器人基础模型的研究人员
  • 研究把人手动作迁移到机器人手和灵巧操作的团队
  • 研究第一人称视频、手部姿态和动作分割的计算机视觉研究人员
  • 希望以现有工具可直接读取的格式获取大规模人类数据的 LeRobot 用户

局限

  • 这是人类示范而不是机器人动作:用它训练机器人需要重定向,或使用能从视频中学习的模型
  • 体量非常大:2026年11月10日 存储桶显示为 1,321 TB、2,561,357 个文件,大多数用户只会下载选定的部分
  • Human-1M 约一百万小时中只有 100,000 小时开放,其余仍由 NVIDIA 保留
  • 存储桶中的文件夹名为 release-staging,在 2026年11月10日 仍在更新
  • 关于这些数据能让模型提升多少的说法来自 NVIDIA 自己的 GR00T 2 研究页面;GR00T 2 本身尚未发布
  • 数据由多个来源采集,相机配置各不相同,部分来源缺少某些字段,例如设备编号或隐私类别
  • 数据卡片没有说明如何取得被拍摄者的同意,也没有说明是否对人脸做了模糊处理;标识已做假名化处理
  • CC BY 4.0 要求署名,且不授予视频中人物的隐私权或肖像权

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。