Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

Eidon Tracker POV

1274 小时第一人称家务视频,配七点手臂 IMU 追踪

许可证

CC-BY-4.0

概述

27 位志愿者戴着头戴相机和一套七传感器 IMU 绑带,在自己家中做真实家务——叠衣服、打扫、洗碗、做饭、编织。最终得到 13451 段录制、合计 1273.8 小时,每一段都把第一人称视频与 24 Hz 的姿态数据配对,覆盖双手、双前臂、双上臂与胸部。胸部传感器是参考坐标系:用它的逆去复合某个肢段,就得到相对躯干的手臂姿态,与佩戴者面朝哪个方向无关。视频与 IMU 分处两个仓库,以 recording_id 关联,另有一个存储桶收录了 306 小时纯视频素材。全部内容采用 CC-BY-4.0。

AgiBot World、DROID、Open X-Embodiment 和 ABC-130k 等大型机器人学习数据集记录的是机器人。而这个数据集记录的是人从自身视角进行日常操作,手臂姿态是测量所得而非推断出来的。从第一人称视频估计手部姿态是一个困难且噪声很大的问题;而这里的手臂姿态带有来自穿戴式传感器的真值。

数据集卡片详细记录了自身的不足。任务分布严重偏斜:叠衣服占全部时长的 67.5%,长尾类别每类不到三小时,因此卡片提醒不要把它当作均衡的九类活动数据集。贡献者数量少且权重不均,最大的贡献者提供了 16.1% 的时长,前五名合计 57.2%,因此卡片建议按 contributor_id 划分:随机划分会让同一个人、同一个家庭和同一套相机装置同时出现在训练集和测试集中,从而虚高结果。人口统计信息已公开,并被说明不具代表性:在报告了信息的人中,年龄中位数为 26 岁,17 人中有 15 人为男性。原始加速度计、陀螺仪和磁力计读数仅覆盖 2,841 条录制,卡片指明了用于筛选的具体字段。质检对每条录制都进行了 MediaPipe 手部检测、HSV 亮度、拉普拉斯模糊和光流稳定性检查;472 条被拒录制也被收录并加以标记,作为负样本。

背后的公司 Eidon AI(以 Solidic Labs Inc 名义经营)已结束运营。它以 CC-BY-4.0 许可发布这些数据,让数据在公司之后继续存在,因此这是一个最终版本,而不是承诺后续还有更多内容的首个版本。

为何重要

大多数大型机器人学习数据集记录的是被遥操作的机器人。从人类视频中学习的策略需要人类视频,而难点一直在于弄清手臂实际在做什么:基于第一人称摄像头的姿态估计在手腕处不可靠,在肩部更差。用身上佩戴的七个 IMU 记录 1,274 小时真实家务劳动,直接解决了这个问题,而且数据以宽松许可发布。

解决的问题

从人类视频学习操作,需要知道手臂当时在做什么,而从第一人称相机把这一点还原出来并不可靠。这份数据直接把它记录了下来:七个穿戴式传感器的 24 Hz 姿态数据与视频并行,超过一千小时未经摆拍的家务,并且允许商业使用。

要点

  • 13,451 条录制,1,273.8 小时,27 名贡献者,9.05 TB 的 MP4 视频,分辨率 1080p 至 4K
  • 七个 24 Hz 的 9 轴 IMU——双手、双前臂、双上臂和胸部,胸部作为相对躯干的参考坐标系
  • 视频和 IMU 是两个独立仓库,通过 recording_id 关联;第三个存储桶另含来自 37 名贡献者的 306 小时纯视频素材
  • 真实家庭中的真实家务,而非摆拍演示:洗衣、清洁、洗碗、做饭、绘画、编织、铺床、浇花
  • 每条录制都带有质检指标和 valid/flagged/invalid 状态;472 条 invalid 录制被有意保留,作为负样本
  • 数据集卡片点明了各种陷阱:任务分布偏斜、随机划分时的贡献者泄漏、人口统计信息稀少,以及哪个元数据字段才真正表示原始运动数据
  • CC-BY-4.0 许可,注明出处即可商用;在背后的公司结束运营后作为最终版本发布

适用人群

  • 任何在人类演示视频上训练操作策略或世界模型的人
  • 研究第一人称手部与手臂姿态估计、需要真值用于评测的研究者
  • 在辅助机器人或其他领域构建日常生活活动识别的团队
  • 研究视觉与穿戴式 IMU 之间传感器融合的人
  • 希望获得家务操作数据规模、又不想自己去采集的人

局限

  • 叠衣服占全部时长的 67.5%;尾部活动每类不足三小时,单凭自身撑不起一个类别
  • 27 位贡献者中前五位贡献了 57.2% 的时长——请按 contributor_id 划分,否则评测会把同一个人、同一个家、同一套设备泄漏到两侧
  • 人口统计稀疏且失衡:在填报者中年龄中位数 26 岁,17 人中 15 人为男性
  • 原始加速度计、陀螺仪与磁力计数据只覆盖 13451 段中的 2841 段;姿态四元数则全程都有,但原始流是自愿选择加入的
  • 视频未经处理——没有人脸模糊也没有区域遮挡,拍摄于私人住宅内,卡片明确指出无法排除偶然拍到人脸、文件或屏幕
  • 仅视频就有 9.05 TB,因此这不是一个可以随手拉下来的数据集
  • 相机与 IMU 之间没有硬件同步;对齐靠时间戳,作者描述的偏移量为几毫秒的顺序代码执行时间
  • 生产它的机构已经关停,因此不会有勘误、不会有 v2,除了卡片上的移除申请邮箱之外也无人可供咨询

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。