RoboCap-10k
10,000 小时第一视角有偿工作视频,带公制 3D 头部与手部姿态
许可证
CC BY 4.0
数据:CC BY 4.0,依据数据集卡片的许可部分、其在 Hugging Face 上的许可标签和技术报告;卡片称数据可用于任何目的,包括商业用途,只需引用论文署名。访问:受限;Grounded SI 逐一审批申请,申请表要求承诺不尝试重新识别数据集中的任何人。视频中的人:卡片称工人签署了知情同意书且人脸已模糊处理,但 CC BY 4.0 不授予隐私权或肖像权,技术报告还把遵守当地劳动和隐私法律的责任交给各国的合作方。相关数据集:BitRobot 的 RoboCap-LiDAR-100 采用 CC BY-NC 4.0,仅限非商业用途;RoboCap-IKEA-500 和 RoboCap-Origami-500 采用 CC BY 4.0。卡片图片:取自 Grounded SI 自己制作的数据集片段预览中的一帧;署名 Grounded Superintelligence。已于 2026-11-12 对照数据集卡片、技术报告和 BitRobot 的数据集卡片核查。
概述
RoboCap-10k 是 Grounded Superintelligence 发布的第一视角数据集:10,000 小时经筛选的真人有偿工作视频,由一顶摄像头帽拍摄,并标注了以米为单位的头部和双手 3D 运动。数据集包含 1,363,915 个片段,涵盖 21 个行业、365 类工作场所和 619 项任务,录制于 11 个国家,从面包生产、服装缝制到发动机维修、电路板焊接和钢筋绑扎。每一小时都用同一种设备录制,即 RoboCap:一顶重 250 g 的帽子,配有六台同步的全局快门摄像头和两个 IMU,并由同一条 3D 处理流程处理。每一帧都带有与重力对齐的 6-DoF 头部姿态,以及世界坐标系下的 MANO 手部参数和每只手 21 个关键点;每个片段都有一句简短的任务描述和带时间戳的子任务描述。数据以 LeRobot 格式和 Rerun 记录提供,并附带摄像头原始数据流,采用 CC BY 4.0 许可。数据集于 2026 年 11 月 7 日在 Hugging Face 上发布,访问需提交申请并获批准。
RoboCap-10k 是一个记录真实职业工作的第一视角数据集,用于训练机器人策略和世界模型,由 Grounded Superintelligence 在 Hugging Face 上以 CC BY 4.0 许可发布。工人们在 6 到 12 小时的正常带薪班次中戴着摄像头帽,没有任何内容是为镜头编排或摆拍的。筛选后的发布版本包含 10,000 小时、1,363,915 个片段,每段 10 到 600 秒,中位数为 17.8 秒。它涵盖 21 个行业、365 类工作场所和 619 项任务,录制于 11 个国家:印度、尼日利亚、哥伦比亚、美国、英国、墨西哥、智利、马来西亚、菲律宾、印度尼西亚和西班牙。任务按难度分级,其中简单 170 项、中等 277 项、困难 172 项;困难任务是需要技能的工作,例如在电路板上焊接元件、绑扎钢筋笼或工业缝纫。
全部数据都用同一种设备型号录制,即 RoboCap:一顶重 250 g 的帽子,配有六台 1080p、30 Hz 的全局快门摄像头,由同一个硬件触发信号驱动,另有两个 200 Hz 的 IMU。两对鱼眼立体摄像头让双手在整个够取范围内都处于公制立体视野中,两台侧向广角摄像头则捕捉超出该视野的动作。Grounded SI 根据每次录制会话的画面本身重新标定摄像头,并称所有发布设备的平均极线误差都低于 1 px。头部轨迹来自多摄像头视觉惯性 SLAM 并经离线光束法平差,双手则来自一个多视角跟踪器,它在所有摄像头上拟合同一个 MANO 手部模型。与动作捕捉相比,Grounded SI 报告的头部轨迹误差中位数为 3.0 mm,手部误差为 4.5 mm PA-MPJPE;这些是它自己的测量结果,见其技术报告。
语言标注分两层:每个区间一句简要描述,区间内再有连续的详细子任务描述。详细描述由 Gemini 3.8 Flash 根据两台前置摄像头生成,人工对照视频审核了 1,000 小时的描述,占整个语料的 10%。
每个片段提供两种形式。LeRobot 格式用于训练,每台摄像头一个 H.265 编码的 MP4 文件,另有按帧索引的 Parquet 表,记录头部姿态、手部姿态和 IMU 读数。Rerun 记录则在同一个 3D 世界坐标系中显示六路数据流、头部轨迹和手部网格。每个片段还附有标定参数和一个 JSON 文件,包含分类标签、描述和质量统计;原始数据流也一并发布,以便核查和重新生成标注。视频总量约 108 TB,存放在 Hugging Face 的存储桶中,LeRobot 可直接从中流式读取。访问需要在数据集页面提交申请,Grounded SI 称会在 2 到 3 个工作日内审核。无需账号,任何人都可以在数据集预览网站上浏览 1,794 个片段及其描述、国家和工作区域,并在 Rerun 查看器中播放。
关于隐私,数据集卡片称每位工人都签署了知情同意书,每家合作企业都签署了数据协议,佩戴者在工资之外另获报酬。录制时没有录音,人脸由 Grounded SI 自研的检测器永久模糊处理,元数据只标明国家和工作场所类型。发布公告将 BitRobot 列为共同作者,BitRobot 也发布了自己规模较小的 RoboCap 录制数据,例如 RoboCap-IKEA-500 和 RoboCap-Origami-500。
为何重要
机器人从示范中学习手部技能,而遥操作能提供的示范少且成本高。人们工作的视频很多,但机器人模仿的是姿态,而不是像素:只有在每一帧中都以米为单位定位了头部和双手,画面才能变成训练数据。RoboCap-10k 为 10,000 小时的真实工作提供了这些数据,全部来自同一种经过标定的设备,并保留原始数据流以便重新生成标注,许可还允许商业使用。它是本目录中规模最大的第一视角数据集,同类的还有记录家务的 Eidon Tracker POV,以及用头部加双手设备记录无机器人双手操作的 HiFi-UMI-2K;RoboCap-10k 记录的是专业手艺工作。它可用于预训练 VLA 和世界模型,用于模仿学习,以及把人手动作重定向到机器人手上,并以 LeRobot 格式提供,另有 Rerun 记录便于查看。MINT 等工具可以从普通视频中估计手部运动;这次发布则直接提供了用标定立体视觉测得的结果。
解决的问题
第一视角视频是最易扩展的操作数据来源,但大多数大型语料没有公制 3D 标注,混用了许多不同设备,或是在实验室里由少数参与者完成摆拍任务录制的。RoboCap-10k 提供 10,000 小时未经编排的职业工作,全部来自同一种经过标定的设备型号,每个片段都带有公制头部姿态、3D 手部姿态和两层描述,采用机器人学习工具已能读取的格式,许可允许商业使用。
要点
- 10,000 小时经筛选的真实有偿工作,共 1,363,915 个片段,涵盖 11 个国家的 21 个行业、365 类工作场所和 619 项任务
- 全部用同一种设备型号录制,即 RoboCap 帽:六台同步的全局快门摄像头和两个 IMU
- 每一帧都有与重力对齐的公制 6-DoF 头部姿态,以及每只手 21 个关键点的 MANO 手部姿态
- 简要任务描述和带时间戳的详细子任务描述,其中 10% 的时长经过人工审核
- LeRobot 格式用于训练,Rerun 记录用于查看,并附原始数据流和逐会话标定
- CC BY 4.0,允许商业使用;访问需申请获批,视频总量约 108 TB
适用人群
- 用人类示范数据预训练 VLA、世界模型和机器人基础模型的研究人员
- 把人手动作迁移到机器人手上、从事灵巧操作的团队
- 研究第一视角视频、SLAM、手部姿态和动作分割的计算机视觉研究人员
- 希望以现有工具可直接读取的格式获取大规模人类数据的 LeRobot 用户
局限
- 这是人类示范,不是机器人动作:用来训练机器人需要动作重定向,而且人的手臂与机械臂不同
- 所有 3D 标注都是模型输出,不是真值;手部误差集中在紧握时手指被遮挡的地方
- 精度数据来自 Grounded SI 自己,在其自有基准上测得,并发表在其技术报告中
- 详细描述由 Gemini 3.8 Flash 生成;人工只审核了 10% 的时长
- 采集集中在少数国家,大多数行业来自印度,家务劳动和单手工作的比例偏低
- 没有触觉或力传感:接触只能仅凭视觉推断
- 访问受限:需要申请获批,完整视频约 108 TB,因此多数用户只会流式读取或下载其中一部分
- 人脸由一个在单帧上召回率为 77.3% 的检测器模糊处理,并借助跨帧跟踪补漏;卡片并未声称能检出每一张人脸
- CC BY 4.0 要求署名,但不授予视频中工人和旁人的隐私权或肖像权