Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
作者: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
LIRF 训练第二个策略，让它作用于任务结果（拉门、戳塔、拧阀门）以区分成功与失败，并将其判断用作任务策略的奖励。
为何重要
任务设定仍然只需要成功样例，不需要演示、人工设计的奖励或额外的传感器，但在成功无法通过视觉看出时依然有效。学到的检查还可以在部署时重复使用，以发现未完成的执行，并让任务策略再试一次。
问题
示例奖励方法用成功结果的图像来设定任务，但许多结果无法从被动的图像中判断：拧松的瓶盖看起来和拧紧的一样，门闩也可能藏在门后。这种状态混叠使基于图像的成功分类器在部分可观测任务中失效。
提出的方法
机器人获得一些实体的“可操作”成功样例，然后用 SAC 训练一个交互式奖励函数（IRF）策略，使其作用于这些样例以及由一个初始的、用 VICE 训练的任务策略产生的失败结果，以便之后一个单观测分类器能够将它们区分开。IRF 的判断成为训练最终任务策略的终止奖励，同一个 IRF 也可以在执行之后以“执行-验证”循环运行，直到它判定任务完成。
关键见解
- 交互可以揭示隐藏的任务成功与否：学到的 IRF 会拉门、戳塔底部的积木，或对阀门施加一个小的逆时针扭矩。
- 基于单个观测的分类器会受到状态混叠的影响，这就是 VICE 和 GAIfO 在这些部分可观测任务上表现不佳的原因。
- 在交互之后对一个观测应用分类器就足以标注结果；不需要针对整条 IRF 轨迹的分类器。
- IRF 不使用任何特权信息，因此训练后可以作为闭环中的验证器。
- 学到的 IRF 与手工编写的交互式检查（Manual IRF）相当或更好。
主要结果
- LIRF / LIRF+Verify 的任务成功率（表 1）：锁门 0.640 / 0.958，积木堆叠 0.846 / 0.884，真实机器人拧螺丝 0.82 / 0.99。
- VICE 在同样三个任务上分别为 0.032、0.310 和 0.02，GAIfO 为 0.112、0.275 和 0.0。
- 真值状态奖励得到 0.714（门）、0.956（积木）和 0.87（拧螺丝）：LIRF+Verify 在锁门和拧螺丝上优于它，但在积木堆叠上不如它，尽管正文称 LIRF+Verify 优于所有基线。
- IRF 成功分类准确率：锁门 0.992 ± 0.006，积木堆叠 0.852 ± 0.023，拧螺丝 0.98（表 2）。
- 所需的可操作正样例数：拧螺丝 1 个，锁门 110 个，积木堆叠 7k 个。
- 训练耗时：锁门和堆叠的 LIRF 策略约 2M 个仿真步，拧螺丝 50k 步（在真实机器人上约 10 小时），每个 IRF 策略约 20k 步。
局限
- 当用单图像奖励训练的任务策略大多数时候都会失败时，LIRF 的帮助最大；在完全可观测的设置中，IRF 带来的好处很小或没有（作者所述）。
- 正样例必须以实物形式保存并呈现给机器人；这对拧螺丝（1 个样例）来说很容易，但对积木堆叠（7k 个）来说很麻烦（作者所述）。
- 在两个仿真任务中，观测都是“模拟完美视觉”（物体和机器人的位姿），而不是相机图像。
- 真实机器人测试只是一个转阀门任务，螺丝锁紧是用阀门下方的电机模拟的。
对领域的影响
获得 CoRL 2022 最佳论文奖，被引用 6 次。论文表示所有代码和环境都将发布，官方项目页面链接到一个公开的代码仓库。
摘要
物理交互常常有助于揭示不易察觉的信息。例如，我们可能会拽一拽桌腿来评估它是否装得牢固，或者把水瓶倒过来检查它是否密封。我们提出训练机器人自动习得这类交互行为，以评估一次机器人技能执行尝试的结果。这些评估反过来又可以作为“交互式奖励函数”（interactive reward functions，IRFs），用于训练执行目标技能（例如把桌腿拧紧）的强化学习策略。此外，即使在任务策略完全训练好之后，IRF 仍可作为验证机制，改进在线任务执行。对于任何给定任务，我们的 IRF 都可以仅用成功结果的样例方便地训练，此后训练任务策略也不再需要任何进一步的设定。在仿真中的锁门和加重积木堆叠任务，以及真实机器人上的拧紧螺丝任务的评估中，IRF 带来了大幅的性能提升，甚至优于能够使用演示或精心设计奖励的基线。项目网站：https://sites.google.com/view/lirf-corl-2022/
链接
- arXiv 2212.08961: https://arxiv.org/abs/2212.08961
- DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
- PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
- 代码: https://github.com/penn-pal-lab/lirf_public
- 项目主页: https://sites.google.com/view/lirf-corl-2022/