MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

作者: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

MimicPlay 从 10 分钟的人手玩耍视频中学习一个潜在规划器，并从少量遥操作演示中学习一个由规划引导的 transformer 控制器，提高了 Franka 机械臂上的长时程任务成功率。

为何重要

人类玩耍数据不需要机器人、任务标签或环境重置：机器人遥操作需要 90 秒才能完成的事，人类大约 5 秒就能完成，而 10 分钟的玩耍数据大致相当于一个 3 小时的遥操作数据集。由于人类动作和机器人技能共享同一个潜在规划空间，人类视频也可以直接用作机器人的目标提示。

问题

模仿学习大多局限于短时程的基元，因为长时程演示的收集既缓慢又费力。从机器人玩耍数据中学习有所帮助，但仍需要数小时的遥操作，例如 C-BeT 需要 4.5 小时，TACO-RL 需要 6 小时。

提出的方法

MimicPlay 按数据来源划分学习过程。一个目标条件的潜在规划器在每个场景 10 分钟的人类玩耍视频上训练，通过高斯混合模型（Gaussian Mixture Model）头预测未来的 3D 手部轨迹（由两台已标定的相机跟踪），同时用 KL 损失对齐人类与机器人的视觉特征。随后，一个在每个任务 20–40 个遥操作演示上训练的 GPT 式 transformer 策略，将冻结规划器的潜在规划以及腕部相机和本体感觉输入映射为末端执行器和夹爪指令。

关键见解

• 高层规划可以从廉价的人类玩耍数据中学习，而底层控制则来自不存在具身差距的遥操作演示。
• 需要 GMM 头来刻画多模态的人手轨迹；没有它时，规划器的泛化能力比不使用人类数据训练的变体还差。
• 对编码器特征分布施加 KL 损失，可在无配对数据的情况下缩小人与机器人之间的视觉差距，使人类与机器人特征分布在 t-SNE 中的重叠增加 23%。
• 使用全部 10 分钟而非一半的人类玩耍数据，可以提高对未见过的子目标组合的泛化能力。
• 与 LMP 和 R3M-BC 等端到端方法相比，预训练的潜在规划减少了从单任务训练转为多任务训练时的性能损失。

主要结果

• Kitchen，长时程，全部三个任务（表 1）：20 个演示时成功率 0.47，40 个演示时 0.70，而基线最多为 0.07 和 0.17，不使用人类数据的变体为 0.23 / 0.40。
• Study Desk（表 2，20 个演示）：训练过的任务上 0.55，未见过的任务组合上 0.47，而 GC-BC（BC-trans）和 LMP 为 0.00，不使用人类数据的变体为 0.20 / 0.10。
• 在 Flower、Whiteboard、Sandwich 和 Cloth 上的多任务（表 3）：一个共享模型为 0.55，每个任务一个模型为 0.58；LMP 从 0.13 降至 0.05，R3M 从 0.25 降至 0.15。
• 去掉 KL 损失后，训练任务的成功率降至 0.38（比 0.55 低 17%）；去掉 GMM 后，训练任务为 0.28，未见过的任务为 0.07。
• 在只有机器人玩耍数据可用的 LIBERO 仿真中，不使用人类数据的分层变体在长时程任务上达到 0.29–0.67，而 GC-BC 基线得分为 0.00（5 个随机种子，100 次试验）。
• 整个系统以 17 Hz 运行，足以在人类干扰（例如把叠好的毛巾展开）后重新规划；第 4 节称控制频率为 20 Hz，附录给出的是 17–20 Hz。

局限

• 潜在规划是从特定场景的人类玩耍数据中学习的；在互联网规模的数据上训练可能会提高可扩展性（作者所述）。
• 任务仅限于桌面场景；未涉及移动机械臂操作（作者所述）。
• 跨形态表示学习仍有改进空间，例如采用时间对比学习或循环一致性学习（作者所述）。
• 在多任务训练中，白板任务的成功率从 0.5 降至 0.2，作者将其归因于白板演示较短，导致数据集不平衡。
• 3D 手部跟踪需要已标定的双相机设置，且人类玩耍部分无法在仿真中测试。

对领域的影响

入围 CoRL 2023 最佳系统论文奖决选，并列入 CoRL 2023 最佳论文/最佳学生论文联合决选名单，被引用 415 次。实现代码发布在 github.com/j96w/MimicPlay，视频见项目页面。

摘要

从人类演示中进行模仿学习，是在真实世界中教机器人操作技能的一种有前景的范式。然而，学习复杂的长时程任务往往需要难以获得的大量演示。为了降低高昂的数据需求，我们借助人类玩耍数据，即人们用双手与环境自由交互的视频序列。尽管形态不同，我们假设人类玩耍数据包含关于物理交互的丰富而显著的信息，可以直接促进机器人策略学习。受此启发，我们提出了一个名为 MimicPlay 的分层学习框架，它从人类玩耍数据中学习潜在规划，以指导在少量遥操作演示上训练的底层视觉运动控制。通过在真实世界中对 14 个长时程操作任务的系统评估，我们表明 MimicPlay 在任务成功率、泛化能力和抗干扰鲁棒性方面均优于最先进的模仿学习方法。代码和视频见 mimic-play.github.io。

链接

• arXiv 2302.12422: https://arxiv.org/abs/2302.12422
• DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
• PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
• 代码: https://github.com/j96w/MimicPlay
• 项目主页: https://mimic-play.github.io/