Legged Locomotion in Challenging Terrains using Egocentric Vision

作者: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

先在低成本的地形采样上进行 RL，再蒸馏到深度输入，为 A1 四足机器人得到一个从深度到关节角的策略，能爬楼梯和路缘，并跨越沟隙和踏脚石。

为何重要

部署的策略只使用一个深度相机，不需要高程地图、定位或 MPC，因此可以在机器人机载的 UP 板和 Jetson NX 上运行。诸如在楼梯上大幅髋关节外展等步态是在训练中自发出现的，这使得一台髋高 28 cm 的机器人能够爬上接近其自身高度的台阶。

问题

基于视觉的腿式运动通常被拆分为高程建图和落脚点规划，而高程地图需要将多幅深度图像与来自里程计的位姿估计进行融合。位姿漂移和传感器噪声使这些地图在沟隙和踏脚石上不可靠，而且小型低成本机器人上没有额外的相机、激光雷达和算力。小型机器人也无法依赖预定义的步态先验来越过接近其自身高度的障碍物。

提出的方法

第 1 阶段在仿真中用 PPO 训练一个策略，使用 scandots（在机器人下方固定点处采样的地形高度）和特权信息，采用基于能量的奖励且不使用步态先验。第 2 阶段用 DAgger 将其蒸馏为一个循环策略，可以是单体的 GRU，也可以是为冻结的基础策略提供输入的 RMA 式估计器；该策略以 50 Hz 将以自我为中心的深度和本体感觉直接映射为目标关节角，并利用记忆推断后脚下方的地形。

关键见解

• 渲染深度会使仿真慢一个数量级；先在低成本的 scandots 上运行 RL，再通过监督学习蒸馏到深度，使整个系统能在单个 GPU 上用几天时间完成训练。
• 循环策略可以记住前置相机早先看到的地形来放置后脚，从而取代显式的高程地图。
• 在没有步态先验的情况下，适合小型机器人的行为（例如通过大幅髋关节外展来越过楼梯边缘）会从最小化能耗的奖励中自发出现。
• 如果 scandots 和相机视场的选择使第 2 阶段的模仿损失保持在较低水平，则可以证明第 2 阶段策略的回报接近最优（定理 2.1）。
• 基于高程地图的流程需要很大的训练噪声来应对位姿漂移；在仿真中，这一“noisy”基线在踏脚石上几乎无法前进。

主要结果

• 真实世界：上下楼梯（高 17 cm、深 30 cm、13 级）成功率 100%，跨越 26 cm 沟隙成功率 100%，踏脚石（宽 30 cm、间隔 15 cm）成功率 94%；盲视基线在上楼梯、沟隙和踏脚石上的成功率均为 0%。
• 仿真总计：平均前进位移为 134.18 m（RMA）和 135.85 m（单体），而基线为 73.05 m（noisy）和 84.79 m（blind）；平均摔倒时间为 278.45 s 和 275.01 s，而基线为 147.83 s 和 175.06 s。
• 仿真踏脚石：RMA 和单体策略分别前进 18.83 m 和 20.72 m，而 noisy 和 blind 基线分别前进 1.09 m 和 1.02 m。
• 在仿真斜坡上，视觉策略比基线前进得更远：根据结果部分的正文最多多 27%，根据表 1 的说明文字最多多 25%。
• 城市测试中的楼梯高度：根据城市环境一节，最高 24 cm（最窄宽度 28 cm）；根据引言，最高 25 cm，为髋高的 89%；路缘最高 26 cm。
• 盲视基线每次都能完成下楼梯任务，但使用的是一种高冲击的跌落式步态，在试验期间导致机器人右后髋关节脱落。

局限

• 当仿真与真实世界之间的视觉或地形存在差异时，仍会发生失败；在这种方法中唯一的修复办法是在仿真中重建该情形并重新训练，作者称这是一个根本性的局限。
• 机器人只在环境中移动，而不与环境交互；加装机械臂是未来工作。
• 由于机身下方的地形来自视觉记忆，机器人有时会在楼梯上踩空一步（它能恢复），在户外有时会卡在缝隙中。
• 真实世界的比较使用了不同的第 2 阶段策略：楼梯使用内置的前置相机，沟隙和踏脚石使用外部安装的顶部相机。
• 在硬件上，该方法只与盲视基线进行了比较；高程地图（noisy）基线只在仿真中进行了测试。

对领域的影响

获得 CoRL 2022 最佳系统论文奖，被引用 373 次。论文在其项目页面上发布了视频；未说明是否发布代码。

摘要

动物能够利用视觉实现精确而敏捷的运动。复制这种能力一直是机器人学的长期目标。传统方法是将这一问题分解为高程建图和落脚点规划两个阶段。然而，高程建图容易失败、存在较大的噪声伪影、需要专门的硬件，而且在生物学上并不合理。在本文中，我们提出了首个能够通过楼梯、路缘、踏脚石和沟隙的端到端运动系统。我们在一台中型四足机器人上使用单个前置深度相机展示了这一结果。机器人体型较小，因此需要发现在其他地方未见过的专门步态模式。以自我为中心的相机要求策略记住过去的信息，以估计其后脚下方的地形。我们在仿真中训练策略。训练分为两个阶段：首先，我们使用一种计算代价低的深度图像变体，通过强化学习训练一个策略；然后在第 2 阶段，通过监督学习将其蒸馏为使用深度的最终策略。所得策略能够迁移到真实世界，并能在机器人有限的算力上实时运行。它能够通过各种各样的地形，同时对推搡、湿滑表面和多岩石地形等扰动保持鲁棒。视频见 https://vision-locomotion.github.io

链接

• arXiv 2211.07638: https://arxiv.org/abs/2211.07638
• DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
• PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
• 项目主页: https://vision-locomotion.github.io/