PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

作者: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个通过预测信息训练的 128 维深度与本体感觉编码器，加上一个用 ARS 训练的小型策略头：在真实踏脚石上成功率为 100%，而 ARS 为 40%。

为何重要

它保留了进化策略的并行性和简单性，同时缩小了其在基于视觉的控制中的主要障碍，即参数搜索空间的规模。这些策略使用与早期 ARS 工作相同的仿真到现实流程，从 PyBullet 迁移到真实的 Laikago 上，完成踏脚石和室内导航任务。

问题

Augmented Random Search（ARS）等进化策略并行性好，并在参数空间中探索，但难以扩展到视觉运动所需的卷积网络的大量参数。在作者的测试中，基于梯度的替代方法 SAC 和 PI-SAC 在这些任务上没有取得有意义的进展，而早期的 ARS 视觉运动策略在真实踏脚石上的成功率仅为 40%。

提出的方法

PI-ARS 将智能体拆分为一个编码器和一个小型策略头。编码器将两幅 32×24 的深度图像和本体感觉状态映射为一个 128 维向量，并在 ARS 本已收集的轨迹上通过梯度下降训练，以最大化预测信息，其中结合了预测未来深度观测的 InfoNCE 项和 RNN 奖励预测；随后 ARS 只优化一个 3 层 MLP 头，该头向基于 MPC 的底层控制器输出高层指令。

关键见解

• 将表示学习（基于梯度）与策略搜索（无梯度）分离，可以避免进化策略的扩展问题，同时保留其优点。
• ARS 扰动 rollout 产生的轨迹被存入回放缓冲区，并被重复用于训练编码器，因此表示学习不需要额外的环境数据。
• 仅靠奖励预测得到的表示太弱，无法完成任务；需要对比式的未来观测项。
• 作者认为 ARS 的参数空间探索和稳定性在这里至关重要：在 SAC 中加入预测信息（PI-SAC）并没有帮助，因此仅有好的表示是不够的。

主要结果

• 真实踏脚石（四块石头，三个 0.12–0.18 m 的间隙）：PI-ARS 在 10 次试验中 10 次成功（100%），而在相同训练和评估设置下 ARS 基线为 40%。
• 仿真的不平整踏脚石：经过 2,000,000 个训练回合后，平均回报提高 48.01%，从 2.93 增至 4.34。
• 在全部四个仿真任务上，PI-ARS 都比 ARS 获得更高的回报和更好的样本效率：不平整踏脚石、梅花桩、移动平台和室内导航。
• 尽管进行了大量超参数调优，SAC 和 PI-SAC 在这些任务上都未能取得任何不可忽略的学习进展。
• 真实室内导航：策略到达了目标，并在两个障碍物之间找到了一条捷径，但与其中一个障碍物的支臂发生了碰撞。
• 训练中每次 ARS 迭代使用 1024 个扰动并保留最好的 512 个，最多 4000 次迭代（每次试验最多 2,048,000 个仿真回合），每种方法进行 30 次试验。

局限

• 在真实室内导航中，机器人与一个障碍物的支臂发生了碰撞，因为它只在箱形的仿真障碍物上训练过。
• 只测试了室内任务；户外视觉运动留待未来工作。
• 真实踏脚石策略是在仿真地形的一个较简单版本上训练的，其中石头高度的变化较小。
• 室内导航需要动作捕捉系统来跟踪机器人底座的位置，以得到相对目标向量。
• 学习到的策略只输出高层指令，依赖基于 MPC 的底层控制器来执行。

对领域的影响

入围 IROS 2022 最佳论文奖和 ABB 最佳学生论文奖决选，被引用 21 次。作者发布了补充视频页面；论文未说明是否发布代码。

摘要

进化策略（Evolution Strategy，ES）算法凭借其大规模并行能力、简单的实现、有效的参数空间探索和快速的训练时间，在训练复杂的机器人控制策略方面已显示出有前景的结果。然而，ES 的一个关键局限在于它难以扩展到大容量模型，包括现代神经网络架构。在这项工作中，我们开发了 Predictive Information Augmented Random Search（PI-ARS）来缓解这一局限，它利用表示学习的最新进展来缩小 ES 的参数搜索空间。具体而言，PI-ARS 将一种基于梯度的表示学习技术——预测信息（Predictive Information，PI）——与一种无梯度的 ES 算法——Augmented Random Search（ARS）——结合起来，以训练能够处理复杂机器人感知输入并应对高度非线性机器人动力学的策略。我们在一组具有挑战性的视觉运动任务上评估 PI-ARS，在这些任务中，四足机器人需要在不平整的踏脚石、梅花桩和移动平台上行走，并完成一项室内导航任务。在所有任务中，与 ARS 基线相比，PI-ARS 都表现出显著更好的学习效率和性能。我们进一步验证了该算法，证明学习到的策略能够成功迁移到真实的四足机器人上，例如在真实世界的踏脚石环境中达到 100% 的成功率，大幅改进了先前 40% 成功率的结果。

链接

• arXiv 2207.13224: https://arxiv.org/abs/2207.13224
• DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
• PDF: https://arxiv.org/pdf/2207.13224v1
• 项目主页: https://kuanghuei.github.io/piars