XIRL: Cross-embodiment Inverse Reinforcement Learning

作者: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

从不同具身形态的演示者视频中学习的时间循环一致性嵌入，给出一个目标距离奖励，用来在未见过的具身形态上训练 RL 策略。

为何重要

该奖励只需要视频：不需要动作标签、不需要成对帧，除一台相机外也不需要对环境加装仪器。在论文的实验中，同一个学习到的奖励训练了身体不在演示集中的智能体，而这正是用人类视频教机器人时的情形。

问题

机器人可以从第三人称视频（例如人类演示任务的视频）中学习任务，但演示者的身体与机器人不同，因此各自以不同的策略和轨迹完成任务。早期的奖励学习方法需要参考轨迹、时间索引对齐，或演示者与学习者之间人工标注的帧对应关系。

提出的方法

XIRL 在汇集自多种具身形态、仅含观测的视频上，用时间循环一致性（TCC）训练一个 ResNet-18 图像编码器，不使用具身形态标签。奖励是当前帧嵌入与演示最后一帧平均嵌入之间、经温度缩放的负平方距离的 sigmoid，并在该奖励上为新的具身形态训练一个 Soft Actor-Critic 策略。

关键见解

TCC 嵌入编码了任务进度，因此到单个目标嵌入的距离即可给出稠密奖励，无需参考轨迹或时间索引对齐。
在演示总数固定为 1000 的情况下，汇集更多具身形态的演示，加快了在留出的具身形态上的 RL。
不同的身体解决同一任务的方式差异很大：在 X-MAGICAL 中，平均演示长度从 48.0 步（long-stick）到 110.8 步（gripper）不等。
学习到的奖励会为部分进展给予部分奖励，例如在撞上抽屉之前朝它移动，而此时稀疏的环境奖励仍为零。

主要结果

同具身的 X-MAGICAL 清扫任务：XIRL 的样本效率至少与其他学习到的奖励相当，并在 4 种具身形态中的 3 种上比环境奖励更具样本效率。
跨具身，4 个智能体中每次留出一个，编码器在其余 3 个上训练：XIRL 对新智能体的泛化显著优于 TCN、LIFS 和目标分类器奖励（5 个随机种子，每个 50 个评估回合）。
用 RLV 数据集中的真实人类视频训练一个仿真 Sawyer 机械臂推动方块：XIRL 加稀疏奖励比 RLV 以及单独的稀疏奖励更具样本效率，且奖励学习中不使用成对帧标签或机器人领域数据。
X-REAL：9 种末端执行器（人手、滑雪手套、厨房夹子、龙虾手道具服、镊子、夹钳、一个取物夹）将五支笔放入两个杯子的 93 段真实视频；对于 One Hand 5 Fingers，一次未完成的尝试获得的奖励约为成功尝试的一半。
X-MAGICAL 基准：4 种仿真具身形态，每种 1000 条专家演示。

局限

没有在真实机器人上训练任何策略；作者表示他们尚未在真实机器人上展示策略学习。
X-MAGICAL 是基于 PyMunk 构建的 2D 清扫任务，作者将其描述为真实世界场景的高度简化版本。
演示只包含成功的轨迹，因此泛化不佳的编码器可能定义出与预期不同的任务；论文建议将学习到的奖励与稀疏任务奖励结合使用。
在 X-REAL 真实世界数据集上，论文只展示了学习到的奖励曲线，没有展示策略学习。
大多数结果以学习曲线而非成功率表格给出，因此报告的精确数字很少。

对领域的影响

入围 CoRL 2021 最佳论文奖，所给引用数为 182。论文提出了 X-MAGICAL 基准和 X-REAL 数据集；已获许可的 v1 版本称代码和数据集将会公开，但没有给出链接。

摘要

我们研究视觉跨具身模仿的设定，在该设定中，智能体从其他智能体（例如人类）演示同一任务的视频中学习策略，但这些智能体在具身形态上存在显著差异——形状、动作、末端执行器动力学等。在这项工作中，我们证明了可以从跨具身演示视频中自动发现并学习对这些差异鲁棒的、基于视觉的奖励函数。具体而言，我们提出了一种自监督的跨具身逆强化学习方法（Cross-embodiment Inverse Reinforcement Learning，XIRL），它利用时间循环一致性约束，从多个专家智能体的离线演示视频中学习能够捕捉任务进度的深度视觉嵌入，这些智能体由于具身差异，各自以不同方式执行同一任务。在我们的工作之前，从自监督嵌入中产生奖励通常需要与一条参考轨迹对齐，而参考轨迹可能难以获取。我们通过实验表明，如果嵌入能够感知任务进度，那么简单地取学习到的嵌入空间中当前状态与目标状态之间的负距离，就可以作为用强化学习训练策略的有用奖励。我们发现，学习到的奖励函数不仅适用于训练中见过的具身形态，还能泛化到全新的具身形态。我们还发现，XIRL 策略比基线更具样本效率，并且在某些情况下超过了用真实稀疏奖励训练的同一智能体的样本效率。

链接

arXiv 2106.03911: https://arxiv.org/abs/2106.03911
DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
PDF: https://arxiv.org/pdf/2106.03911v1