What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

作者: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在 5 个仿真和 3 个真实操作任务上测试六种离线学习算法：依赖历史的 BC-RNN 从人类演示中学得最好，而批量 RL 在人类数据上表现吃力。

为何重要

对于任何收集遥操作数据的人，这项研究给出了具体的设置：使用依赖历史的策略，加入腕部相机和像素平移图像随机化，保持本体感受输入精简，并且要预料到按验证损失选择检查点会选出较弱的策略。在仿真中调好的超参数未经真实世界调参就应用到真实的 Franka 机械臂上，仍然产生了可用的 Lift 和 Can 策略。

问题

基于人类演示的模仿学习和批量（离线）强化学习，在机器人操作方面缺乏开源的人类数据集和可复现的实现，因此难以判断哪些方法和设计选择有效。人类演示与机器生成的数据不同：它们可能不满足马尔可夫性，其质量因操作员而异，而且训练损失只是评估中使用的任务成功率的替代指标。

提出的方法

作者通过 RoboTurk 为五个仿真任务（Lift、Can、Square、Transport、Tool Hang）收集了遥操作演示，作为单操作员的 Proficient-Human 数据集（200 条演示）和六名操作员的 Multi-Human 数据集（300 条演示），另外还有 Lift 和 Can 的机器生成数据集，以及在 Franka 机械臂上针对 Lift、Can 和 Tool Hang 的 200 条演示的真实世界数据集。他们在低维观测和图像观测上训练了 BC、BC-RNN、HBC、BCQ、CQL 和 IRIS，在仿真中在线评估每个检查点，并改变观测空间、超参数、数据集规模和策略选择规则。

关键见解

• 依赖历史的模型（BC-RNN、HBC、IRIS）从人类演示中学习的效果远好于普通 BC；BC-RNN 与 BC 之间的差距随任务时域增大（Transport (PH) 上约 55%，Square (PH) 上约 5%），在多操作员数据上也会增大。
• BCQ 和 CQL 在机器生成的混合质量数据上表现良好，但在人类数据集上表现很差，即使在一个由同一操作员的成功和失败演示配对组成的诊断数据集上也是如此。
• 观测设计很重要：加入末端执行器速度或关节状态使低维智能体的性能下降 49%–88%（相对值），而去掉像素平移随机化或腕部相机则损害了图像智能体。
• 按最低验证损失或按最后一个 epoch 选择检查点，得到的策略比最佳检查点差 10% 到 100%，因此离线策略选择仍是一个未解决的问题。
• 简单任务（Lift、Can）只用 20% 的数据就达到 75%–100% 的成功率，而复杂任务（Square、Transport）随着数据增加持续改进。

主要结果

• BC-RNN 在低维 Proficient-Human 数据上（3 个随机种子）：Lift 100%，Can 100%，Square 84.0%，Transport 71.3%，Tool Hang 19.3%。
• BC-RNN 在图像观测上：Square (PH) 82.0%，Transport (PH) 72.0%，Tool Hang (PH) 67.3%，BCQ 分别为 41.3%、0.7% 和 3.3%。
• 在低维 Multi-Human 数据上，BCQ 在 Can 上达到 62.7%，在 Square 上达到 14.0%，BC-RNN 分别为 100% 和 78.0%。
• 在由不同操作员质量混合而成的 200 条演示的 Square 数据上，BC-RNN 得分为 55.3%、73.3% 和 74.0%，低于它在 200 条演示的单操作员 Square (PH) 数据集上的 84.0%。
• 真实 Franka 机械臂，BC-RNN，最后一个检查点，30 次执行，无真实世界调参：Lift 96.7%，Can 73.3%，Tool Hang 3.3%。
• 在真实的 Can 任务上，去掉像素平移随机化使成功率降至 26.7%，去掉腕部相机则降至 43.3%。

局限

• 仿真结果报告的是在线评估每个检查点后找到的最佳检查点，作者指出这在真实机器人上不可行；真实世界结果则使用最后一个检查点。
• 真实世界实验涵盖三个任务，每个 30 次执行，且没有真实世界的超参数调整；作者称这些结果为下界，真实的 Tool Hang 策略在 3.3% 的执行中成功。
• 机器生成的数据集只有 Lift 和 Can，因为即使经过大量调参，RL 智能体也无法解决其他任务。
• 该研究比较了六种现有算法，而非提出修正方案；缩小批量 RL 在人类数据上的差距以及更好的离线策略选择留待未来工作。
• PMLR 版本提到的附录（任务细节、数据集规模表 27 和 28、BCQ 和 CQL 超参数）并未包含在其中。

对领域的影响

被引用 548 次（数字按所给）。作者在项目页面开源了数据集和所有算法实现，为比较离线学习方法提供了一套共享的人类演示操作任务和基线。

摘要

模仿人类演示是一种赋予机器人多种操作能力的有前景的方法。尽管模仿学习和批量（离线）强化学习近来取得了进展，但缺乏开源的人类数据集和可复现的学习方法，使得评估该领域的现状十分困难。在本文中，我们针对机器人操作中的六种离线学习算法开展了一项广泛的研究，研究涵盖五个仿真和三个真实世界的、复杂度各异的多阶段操作任务，并使用质量各异的数据集。我们的研究分析了从离线人类数据中学习操作时最关键的挑战。基于这项研究，我们总结出一系列经验，包括对不同算法设计选择的敏感性、对演示质量的依赖，以及由于训练与评估目标不同而导致的、基于停止准则的结果波动。我们还指出了从人类数据集中学习的机会，例如能够在超出当前强化学习方法能力范围的、具有挑战性的多阶段任务上学到熟练的策略，以及能够轻松扩展到只有原始传感信号可用的自然真实世界操作场景。我们已经开源了数据集和所有算法实现，以促进从人类演示数据中学习方面的未来研究和公平比较：https://arise-initiative.github.io/robomimic-web/

链接

• arXiv 2108.03298: https://arxiv.org/abs/2108.03298
• DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
• PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
• 项目主页: https://arise-initiative.github.io/robomimic-web/