Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

作者: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个强化学习（RL）智能体在手工编写的到达、抓取、推动和释放原语或原始电机动作之间进行选择，并设定其参数，从而减轻长时程操作中的探索负担。

为何重要

机器人学已拥有可靠的抓取和到达模块，本研究表明，通用的强化学习（RL）算法可以学会对它们进行排序，而无需手写任务规划。由于策略通过原语来行动，在硬件上重新实现原语后，同一策略即可从模拟迁移到真实机器人。

问题

深度强化学习难以应对长时程操作，因为机器人必须探索极其庞大的低层电机动作空间。从零学习技能的分层强化学习（RL）方法需要大量样本，而任务与运动规划以及神经编程则依赖领域知识或人工监督来组合预先构建的模块。

提出的方法

MAPLE 将控制表述为参数化动作 MDP：每一步由高层任务策略选择一个原语（到达、抓取、推动、夹爪释放或单个原子动作），再由每个原语对应的参数子网络设定其输入，例如目标位置和偏航角。两者都用改进的 Soft Actor-Critic 训练，并在奖励中加入解析的可供性得分，引导原语参数指向相关物体。保留原子动作使智能体能够处理原语无法表达的阶段，例如接触丰富的插入。

关键见解

先选择原语再选择其参数的分层策略，优于独立采样类型和参数的扁平策略
Peg Insertion 任务需要保留原子原语：去掉它的版本成功率为 0%，而 MAPLE 达到 100%
没有可供性奖励，或没有到达或抓取原语时，智能体无法解决 Pick and Place
基于所学原语序列的 Levenshtein 距离组合性得分，在接触丰富的任务上（Peg Insertion 0.24，Wipe 0.67）低于抓握类任务（Lift 和 Door 为 1.0）
学到的任务草图可在相似任务上复用，这样只需学习原语参数

主要结果

八个模拟任务上的平均最终成功率：MAPLE 90%，Atomic SAC 19%，Flat 36%，Open Loop 41%，DAC 11%，不含原子动作的 MAPLE 79%
相对于 Atomic 基线的提升，在引言中表述为提高 70%，在结果部分表述为成功率高 71%、奖励高 2-3×
论文称 MAPLE 是唯一一个能稳定解决标准 robosuite 基准中所有单臂任务的方法
将 Pick and Place 汽水罐任务草图迁移到面包变体时，学习目标任务的速度比从零训练快 5× 以上
每个任务 30 次试验的真实世界成功率：Stack 为 93%（模拟中 97%），Cleanup 为 83%（模拟中 93%）
HIRO 未能取得进展，因此未列入结果

局限

作者指出，原子动作可以填补小的缺口，但无法填补需要大量低层动作的大缺口，并且在探索和信用分配方面还需要更多工作
可供性得分是根据物体状态手工定义的；作者将学习得到的可供性列为未来工作
Wipe 仍然困难：MAPLE 在该任务上的成功率为 42%
在真实世界测试中，物体的俯仰、偏航和桌面高度被硬编码，以规避位姿估计误差，遮挡则需要一个抬起后重新估计的例程
真实世界中的失败主要来自反复的不良抓取，或机器人触及关节限位并触发安全停机

对领域的影响

获得 ICRA 2022 杰出学习论文奖，被引用 155 次。作者在项目页面发布了代码和视频。

摘要

现实的操作任务要求机器人通过一长串电机动作与环境交互。尽管深度强化学习方法近来已成为自动化操作行为的一种有前景的范式，但由于探索负担，它们在长时程任务上通常表现不足。本研究提出 MAnipulation Primitive-augmented reinforcement LEarning（MAPLE），这是一个用预定义的行为原语库来增强标准强化学习算法的学习框架。这些行为原语是专门用于实现抓取、推动等操作目标的鲁棒功能模块。为了使用这些异构原语，我们开发了一种分层策略，它调用原语并以输入参数实例化其执行。我们证明，在一组模拟操作任务上，MAPLE 以显著优势超越基线方法。我们还量化了所学行为的组合结构，并突出展示了本方法将策略迁移到新任务变体和物理硬件上的能力。视频和代码见 https://ut-austin-rpl.github.io/maple

链接

arXiv 2110.03655: https://arxiv.org/abs/2110.03655
DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
PDF: https://arxiv.org/pdf/2110.03655v1
项目主页: https://ut-austin-rpl.github.io/maple