Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

HumanPlus: Humanoid Shadowing and Imitation from Humans

作者: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

许可协议

  • 开放获取
  • 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在 40 h 人类运动数据上训练的 RL 策略，使 33-DoF 人形机器人能够模仿单个 RGB 相机看到的操作员；这些遥操作数据随后用于训练视觉技能策略，成功率为 60–100%。

为何重要

这一遥操作配置只需要一名操作员和一个 RGB 相机（论文的对比中列为 $50），并能同时控制身体和双手，包括下蹲和行走。从事人形机器人工作的团队由此获得一条从低成本全身演示通往自主技能的路径，而无需为每项技能构建专门的任务仿真。

问题

人形机器人原则上可以从大量人类运动数据中学习，但形态和驱动方面的差异、困难的全身感知与控制，以及缺乏易用的全身数据流程，阻碍了这一点。以往的人形机器人遥操作依赖动作捕捉服、外骨骼或 VR 头显，作者认为这些设备价格昂贵，且使用场所受限。

提出的方法

一个仅含解码器的 Transformer 底层策略（Humanoid Shadowing Transformer）在仿真中用 PPO 训练，训练数据是重定向到该机器人上的 AMASS 人体姿态，随后以 50 Hz 零样本部署，并配合 1000 Hz 的 PD 控制器。由单个 RGB 相机估计的身体姿态（WHAM）和手部姿态（HaMeR）被实时重定向，使一名操作员即可驱动整个机器人，同时两个头部相机记录第一人称数据。一个改编自 ACT、仅含解码器的 Humanoid Imitation Transformer 在这些演示上训练，并对预测的未来图像特征加入 L2 损失，以防止策略忽略视觉。

关键见解

  • 一个以目标姿态为条件、与任务无关的底层策略，在重定向后的人类运动上训练，取代了逐技能的奖励设计，并能零样本迁移到硬件上。
  • 基于单个 RGB 相机的影随让一名操作员即可同时控制身体和双手；动觉示教、ALOHA 式和 Meta Quest 基线需要两名或更多操作员，且不支持全身控制。
  • 在预测动作的同时预测未来的图像特征 token，可以防止视觉策略对本体感觉过拟合；没有这一机制的 ACT 会卡住，反复执行已经完成的子任务。
  • 在深度信息重要时，双目输入很关键：单目变体在 Wear a Shoe and Walk 上完全失败，在 Fold Clothes 中对桌子的处理也较为粗糙。

主要结果

  • 模仿策略的完整任务成功率：Fold Clothes 100%，Rearrange Objects 90%，Type "AI" 80%，Two-Robot Greeting 90%，Warehouse 90%，Wear a Shoe and Walk 60%，每项任务使用 25–40 次演示。
  • Wear a Shoe and Walk（40 次演示）：HIT 为 60%，而单目变体、ACT 和开环回放均为 0%；ACT 在 Type "AI" 上也为 0%，但在 Fold Clothes、Warehouse 和 Two-Robot Greeting 上与 HIT 持平。
  • 六名参与者的用户研究：在 Rearrange Objects 上，影随的完整任务时间为 5.20 s，动觉示教为 6.60 s，ALOHA 式为 7.15 s，Meta Quest 为 8.87 s；只有影随能完成需要下蹲的 Rearrange Lower Objects 任务（15.34 s）。
  • 骨盆处的推力测试：学习得到的策略能承受 32/44/70/100 N（前/后/左/右），而 H1 默认控制器为 24/36/40/40 N；恢复时间为 1.2 s，而默认控制器为 15 s。
  • 学习得到的策略可以下蹲到 0.44 m（默认控制器为 0.85 m）、跳起 0.35 m（默认为 0 m），并能从椅子上站起来，而默认控制器做不到。
  • 在 RTX 4090 上，身体姿态估计与重定向以 25 fps 运行，手部姿态以 10 fps 运行；模仿策略在机载计算机上以 25 Hz 运行，为 50 Hz 的底层策略提供输入。

局限

  • 硬件的 DoF 少于人类：1-DoF 踝关节无法完成抬起并抖动一条腿之类的动作，5-DoF 手臂（含手腕）限制了 6-DoF 操作空间控制，并在影随时留下无法到达的区域。
  • 第一人称相机固定在头部、不能主动调整，因此双手和交互可能移出视野。
  • 固定的重定向映射会丢弃机器人没有的人体关节，这可能把学习限制在人类运动的一个子集上。
  • 姿态估计在大面积遮挡下会失败，限制了操作员可站立的位置；操作员还需要能直接看到机器人。
  • 未涉及长时程导航；作者表示这需要多得多的演示以及准确的真实世界速度跟踪。

对领域的影响

入围 CoRL 2024 杰出论文奖决选，被引用 442 次。官方项目页面链接了代码：github.com/MarkFzp/humanplus。

摘要

制造与人类外形相似的机器人，一个关键理由是我们可以利用海量的人类数据进行训练。然而，在实践中这样做仍然充满挑战，原因包括人形机器人感知与控制的复杂性、人形机器人与人类在形态和驱动方面长期存在的物理差距，以及缺乏让人形机器人从第一人称视觉中学习自主技能的数据流程。在本文中，我们提出一个全栈系统，使人形机器人能够从人类数据中学习运动和自主技能。我们首先利用现有的 40 小时人类运动数据集，通过强化学习在仿真中训练一个底层策略。该策略可迁移到真实世界，使人形机器人仅用一个 RGB 相机就能实时跟随人体和手部运动，即影随（shadowing）。通过影随，人类操作员可以遥操作人形机器人，在真实世界中收集用于学习不同任务的全身数据。随后，我们利用收集到的数据进行有监督的行为克隆，训练基于第一人称视觉的技能策略，使人形机器人能够通过模仿人类技能自主完成不同任务。我们在定制的 33-DoF、180cm 人形机器人上演示了该系统，它使用最多 40 次演示，以 60-100% 的成功率自主完成了穿鞋后站起并行走、从仓库货架上卸下物品、叠运动衫、重新摆放物品、打字以及与另一台机器人打招呼等任务。项目网站：https://humanoid-ai.github.io/

链接

  • arXiv 2406.10454: https://arxiv.org/abs/2406.10454
  • DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
  • PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
  • 代码: https://github.com/MarkFzp/humanplus
  • 项目主页: https://humanoid-ai.github.io/

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。