Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

作者: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

许可协议

• 开放获取
• 论文: CC0 1.0 Universal

以下内容均依据作者按 CC0 1.0 Universal 发布的论文全文；其中的图已注明作者。

一句话总结

FISH 在一个固定的开环或最近邻基础策略上加入一个学习得到的残差，以与 1–3 个演示的最优传输匹配作为奖励，并在 ≤20 分钟内适应未见过的物体位置。

为何重要

唯一的任务输入是不到一分钟的演示：不需要状态估计、手工构建的奖励或大型演示集，在线训练时间上限为 20 分钟。由于只学习残差，探索可以限制在选定的动作维度上，作者表明这避免了 ROT 在 Allegro Hand 上探索所有维度时出现的不安全的手指碰撞和姿态。

问题

视觉模仿策略需要大量演示来覆盖物体位置等变化；论文引用的数据是 MIME 每个任务 400 个演示，robomimic 为 200 个。用在线 RL 调整离线策略可以减少这一需求，但 RL 需要奖励，而当物体状态无法估计时，很难构建针对特定任务的奖励。

提出的方法

FISH 分两个阶段工作。首先，将一个弱的非参数化基础策略（开环回放或 VINN 最近邻检索）拟合到约一分钟的演示（1–3 条轨迹）上。其次，一个用 n 步 DDPG 训练的残差策略为基础动作添加校正偏移，奖励来自机器人相机观测与演示之间的 Sinkhorn 最优传输匹配，该匹配使用一个取自行为克隆的冻结编码器计算。

关键见解

• 保持基础策略固定、只学习残差偏移，在表 I 的每个任务上都优于在线微调 BC 策略（ROT）。
• 在这种低数据条件下，非参数化基础策略（VINN、开环）比参数化的 BC 效果更好；BC 在 Allegro Hand 的 16 维动作空间上表现很差。
• 在少量领域内演示上通过行为克隆训练的编码器，比在大规模领域外数据上预训练的 ImageNet、R3M 或 MVP 编码器效果更好。
• 冻结编码器（使 OT 奖励保持平稳）和以基础动作为条件来学习残差都是必需的；去掉任何一项都会降低成功率（表 V）。
• 将残差探索限制在选定的动作轴上提高了样本效率，而自适应地将偏移向零正则化则损害了性能。

主要结果

• 在 3 台机器人上的 9 个真实世界任务中平均成功率为 93%，约为先前方法的 3.8 倍（摘要）；引言将同一数字表述为在 20 分钟在线交互下“成功率提高 93%”。
• 表 I：开门、开抽屉和开关灯（Stretch，各 5 次试验）以及翻转方块和旋转瓶盖（Allegro Hand）上为 1.0；拾取美元钞票为 0.8，插销入杯和翻转贝果为 0.9，插入钥匙为 0.8（各 10 次试验）。
• 表 I 中任何单项任务上最好的基线最多达到 0.6（ROT 在开关灯和插入钥匙上）；在开门、开抽屉、翻转方块和旋转瓶盖上，没有任何基线超过 0.2。
• 不使用自适应偏移正则化时，翻转贝果的成功率为 0.9，拾取美元钞票为 0.8，而使用时分别为 0.4 和 0.4（表 II）。
• 用预训练编码器替换 BC 编码器后，翻转贝果从 0.9 降至 0.0（ImageNet）、0.0（R3M）和 0.3（MVP），拾取美元钞票从 0.8 降至 0.0、0.1 和 0.0（表 IV）。
• 在新物体上经过 5 分钟在线学习后，面包类的成功率在 0.9 到 0.0 之间，钞票和卡片类在 0.8 到 0.0 之间；一块软的扁面包和一个厚钱包完全失败（图 8）。

局限

• OT 奖励使机器人与演示对齐，因此该方法依赖于演示者是专家（作者所述）。
• 仅使用视觉输入，使得视觉信号较弱的精确任务变得困难，例如寻找只占图像极小部分的钥匙孔；作者建议使用触觉感知（作者所述）。
• 残差策略是随机初始化的；作者指出，对其进行预训练可能有助于需要更精确控制的更难任务（作者所述）。
• 随着物体与演示中的物体差异增大，成功率下降，在扁面包和钱包上甚至完全失败。
• 每个任务在 10 个物体位置（xArm、Allegro Hand）或 5 个机器人初始状态（Stretch）上进行评估。

对领域的影响

获得 RSS 2023 最佳学生论文奖，被引用 113 次。作者通过 fast-imitation.github.io 发布了代码和机器人视频，项目页面链接到代码仓库。

摘要

尽管模仿学习为我们提供了一套高效的机器人训练工具，但学习对环境变化具有鲁棒性的技能仍然是一项重大挑战。现有方法应对这一挑战的方式，要么依赖覆盖各种环境变化的大量演示，要么依赖需要状态估计的手工设计奖励函数。这两个方向都无法扩展到快速模仿。在这项工作中，我们提出了 Fast Imitation of Skills from Humans（FISH），这是一种新的模仿学习方法，能够用不到一分钟的人类演示学习鲁棒的视觉技能。给定一个通过对演示进行离线模仿训练得到的弱基础策略，FISH 计算与机器人行为和演示之间“匹配”程度相对应的奖励。这些奖励随后被用于自适应地更新一个叠加在基础策略之上的残差策略。在所有任务中，FISH 最多需要二十分钟的交互学习，就能在演示中未见过的物体配置上模仿演示。重要的是，FISH 的构建具有通用性，因此可以用于不同的机器人形态（例如 xArm、Allegro、Stretch）和相机配置（例如第三人称视角、手眼相机）。我们在 9 个不同任务上的实验评估表明，FISH 达到了 93% 的平均成功率，约为先前最先进方法的 3.8 倍。

链接

• arXiv 2303.01497: https://arxiv.org/abs/2303.01497
• DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
• PDF: https://arxiv.org/pdf/2303.01497v1
• 代码: https://github.com/siddhanthaldar/FISH
• 项目主页: https://fast-imitation.github.io/