Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions
作者: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
从 4.5 s 德国牧羊犬动作捕捉中以对抗方式学到的风格奖励，替代了人工设计的奖励，并迁移到真实的 A1 四足机器人上，运输成本更低。
为何重要
在从仿真到现实的腿式运动中，奖励调节占工程工作的很大一部分。论文表明，在真实的四足机器人上，几秒钟的参考动作就可以替代一个含 13 项、人工设计的风格奖励，同时策略仍会根据需要偏离这些片段，以跟踪指令速度，并随速度改变步态。
问题
用未充分指定的奖励训练的腿式运动强化学习智能体，常常学到诸如肢体乱甩、腿部振动或高冲量接触之类的行为，这些行为利用了仿真器的不准确之处，无法在真实机器人上运行。通常的补救方法是一个复杂的人工设计风格奖励，它需要大量领域知识和精细的调节，而且往往只适用于某一个平台和任务。
提出的方法
作者改编了来自计算机图形学的对抗运动先验（AMP）：一个用最小二乘 GAN 目标和梯度惩罚训练的判别器，学习区分动作捕捉数据集中的状态转移与策略产生的状态转移，其输出成为风格奖励，并与速度跟踪任务奖励相加（权重为 0.65 和 0.35）。总长 4.5 秒的德国牧羊犬片段通过逆运动学重定向到 A1 机器人上，策略（以 30 Hz 输出目标关节角，由 PD 控制器跟踪）在 5,280 个 Isaac Gym 环境中结合域随机化用 PPO 训练，然后部署到硬件上。
关键见解
- 从 4.5 s 动作捕捉中以对抗方式学到的风格奖励，可以替代一个含 13 项、人工设计的风格奖励，并仍能得到可部署在真实四足机器人上的策略。
- 由于判别器对状态转移打分，而不是跟踪某个特定片段，策略可以遵循参考数据中没有出现的速度指令。
- 用运动先验训练的策略会随指令速度改变步态（0.8 m/s 时为溜蹄，1.7 m/s 时为小跑，指令从 1 m/s 升至 2 m/s 时从溜蹄切换为慢跑），作者将此与动物降低能量消耗的方式联系起来。
- 没有风格奖励时，策略会以高速和大力矩振动双脚，利用不准确的仿真器动力学；它能很好地跟踪速度，但动作过于剧烈，无法在真实机器人上运行。
- 作者将较低的运输成本归因于狗的动作数据中已有的节能策略。
主要结果
- 仿真中的机械运输成本（Table II），在 0.4、0.8、1.2 和 1.6 m/s 的指令速度下：AMP 奖励为 1.07、0.93、1.02 和 1.12，复杂风格奖励为 1.54、1.37、1.40 和 1.41。正文给出的复杂奖励范围为 1.37 到 1.65，与表中的最高值 1.54 不符。
- 没有风格奖励时，在同样四个速度下运输成本为 14.03、8.00、6.05 和 5.18，原因是力矩和电机速度很高。
- 指令为 0.4/0.8/1.2/1.6 m/s 时测得的前进速度：AMP 为 0.36/0.77/1.11/1.52 m/s，复杂奖励为 0.41/0.88/1.28/1.67 m/s，无风格奖励为 0.42/0.82/1.22/1.61 m/s。
- 训练在单块 Tesla V100 GPU 上用 16 小时完成了 40 亿个环境步（约 4.2 年的仿真数据）。
- 在真实的 A1 上，AMP 策略跟踪了正弦变化的线速度和角速度指令，沿一条有急转弯的路线行进，并在指令从 1 m/s 升至 2 m/s 时从溜蹄切换为慢跑。
局限
- 论文没有局限性章节。其真实机器人评估是定性的（步态图、速度曲线、运输成本图和一个路线跟随示例），没有在硬件上测得的成功率或能耗表格。
- Table II 中所有运输成本和速度跟踪数字都来自仿真。
- 参考数据是单只德国牧羊犬的 4.5 s 动作（溜蹄、小跑、慢跑和原地转身），只重定向到一个机器人 A1 上；没有测试其他机器人或技能。
- 在仿真中，AMP 策略在每个测试的指令下都略低于指令前进速度（例如 1.6 m/s 指令下为 1.52 m/s）。
对领域的影响
入围 IROS 2022 最佳论文奖和 ABB 最佳学生论文奖，被引用 210 次。论文指向一个包含视频的项目页面和项目代码库，后者链接到代码 github.com/Alescontrela/AMP_for_hardware。
摘要
用未充分指定的奖励函数训练高维仿真智能体，常常导致智能体学到物理上不可行的策略，这些策略在部署到真实世界时是无效的。为了减少这些不自然的行为，强化学习从业者常常使用复杂的奖励函数来鼓励物理上合理的行为。然而，创建人工设计的奖励通常需要繁琐、费力的调参过程，而且这些奖励可能不容易在不同平台和任务之间推广。我们提出用从动作捕捉演示数据集中学到的“风格奖励”来替代复杂的奖励函数。学到的风格奖励可以与任意任务奖励结合，训练出以自然的策略完成任务的策略。这些自然的策略也可以促进向真实世界的迁移。我们以对抗运动先验（Adversarial Motion Priors）为基础——这是一种来自计算机图形学领域、从参考动作数据集中编码风格奖励的方法——来证明以对抗方式训练策略可以产生能迁移到真实四足机器人上的行为，而无需复杂的奖励函数。我们还证明，可以从一只德国牧羊犬身上采集的几秒钟动作捕捉数据中学到有效的风格奖励，并由此得到具有自然步态转换的节能运动策略。
链接
- arXiv 2203.15103: https://arxiv.org/abs/2203.15103
- DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
- PDF: https://arxiv.org/pdf/2203.15103v1
- 代码: https://github.com/escontra/AMP_for_hardware
- 项目主页: https://sites.google.com/berkeley.edu/amp-in-real/home