Learning Vision-Based Bipedal Locomotion for Challenging Terrain

作者: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个在仿真中训练的 RL 策略加上一个深度图到高度图的预测器，使 Cassie 双足机器人无需全局里程计或真实世界微调，就能越过方块、楼梯和 0.5 m 的台阶。

为何重要

整个系统在机载端运行，不估计全局位姿，这消除了腿式机器人的一个常见失败来源，因为它们会频繁而猛烈地撞击地面。作者称这是基于视觉的双足移动在复杂地形上的首次仿真到现实演示，并记录了哪些训练选择是迁移成功所必需的。

问题

双足机器人的 RL 控制器大多是盲的，只依赖本体感觉，因此无法预判地形，并倾向于使用摆动轨迹很高的激进步态。基于模型的感知流程把问题拆分为全身控制、落脚点规划、里程计和地形建图，而在全局坐标系中构建的地图会随着频繁接触和激进运动造成的位姿估计误差而漂移。

提出的方法

在 MuJoCo 中用 PPO 训练一个移动策略，输入是相对于机器人浮动基座表示的 1.5 m × 1 m、分辨率 5 cm 的高度图；它把一个预训练的 LSTM 盲策略与一个基于视觉的调制器结合起来，后者还会调整步态频率和每条腿的相位偏移。另一个独立的高度图预测器（一个 LSTM 阶段后接一个 U-Net 细化阶段）在 30,000 个仿真回合上训练，把以自我为中心的深度图像历史和机器人状态映射到该高度图。对动力学、力矩效率、延迟、高度图噪声和深度图像噪声进行域随机化，使两个网络都能迁移到真实机器人上。

关键见解

• 把高度图表示在机器人的局部坐标系中，使策略无需全局建图或里程计即可对地形作出反应；在实机上，策略仍能在相机已看不到的地形上方正确放置摆动足，作者将此解读为策略在内部保持了一种里程计。
• 地形采样的组合（以方块、脊状地形和楼梯为主）比加入启发式奖励项更有效地塑造出稳健、不激进的步态：楼梯约束步长，脊状地形约束抬脚高度。
• 没有足部碰撞惩罚时，策略在仿真中的成功率相近，但会把碰撞当作反馈，例如让一只脚沿着竖直面向上滑；由此产生的频繁绊脚使仿真到现实的迁移无法实现。
• 随机化力矩效率对 0.5 m 台阶尤为重要，因为此时膝关节电机会饱和。
• 学习得到的步态时钟，以及一个获得特权输入（全局足部位置、每只脚周围的高度图、足尖测距仪）的评价网络（critic），都提高了仿真中困难地形设置下的成功率。

主要结果

• 在实机上，Cassie 以最高 1 m/s 的速度越过单个高方块、楼梯、随机方块和 0.5 m 的台阶（约为腿长的 60%），并在一个人往跑步机上放方块时保持速度和朝向。
• 仿真中的高度图重建误差（MAE）：LSTM 2.806 cm，Transformer 4.221 cm，MLP 4.932 cm，不含机器人状态的 LSTM 4.448 cm。
• 在闭环仿真中，所有高度图预测器的成功率相近，但 LSTM 预测器产生的足部碰撞回合最少，因碰撞导致的终止也最少。
• 在机器人上，深度流以 90 FPS 运行，仅高度图推理一项在 Jetson Orin Nano 上以 200 Hz 运行，预测器与策略之间的端到端延迟实测最高为 20 ms。
• 在仿真消融实验中（每种地形模式 1000 个回合），没有学习得到的时钟或没有特权评价网络的策略在困难地形上的成功率明显更低，盲策略表现最差。

局限

• 由于只使用一台朝前的相机，在脊状、楼梯和方块地形上的速度指令不包括向后和侧向行走。
• 以自我为中心的相机看不到机器人正下方的地面，因此脚下的地形只能依靠策略已经看到的信息来处理。
• 实机结果只以定性方式展示（实验室木块、楼梯、一台跑步机和投稿视频）；论文没有给出真实世界的成功率。
• 训练和评估地形仅限于五种程序生成的类型：平地、丘陵、方块、脊状地形和楼梯。
• 足部碰撞惩罚只起软约束的作用，策略为了避免摔倒可能违反它。

对领域的影响

入围 IEEE ICRA 2024 认知机器人最佳论文奖决选，被引用 98 次。论文没有链接已发布的代码、数据或硬件设计。

摘要

用于双足移动的强化学习（RL）最近已展示出仅依靠本体感觉，就能在中等难度地形上实现稳健的步态。然而，在机器人必须预判并适应局部地形的环境中，这类盲控制器会失败，因为这需要视觉感知。在本文中，我们提出一个完全基于学习的系统，使双足机器人能够对局部地形作出反应，同时保持指令给定的行进速度和方向。我们的方法首先在仿真中使用在机器人局部坐标系中表示的高度图训练一个控制器。接着，在仿真中收集数据来训练一个高度图预测器，其输入是深度图像和机器人状态的历史。我们证明，在适当的域随机化下，这种方法无需显式位姿估计、也无需使用真实世界数据进行微调，就能成功实现仿真到现实的迁移。据我们所知，这是基于视觉的双足移动在复杂地形上实现仿真到现实学习的第一个例子。

链接

• arXiv 2309.14594: https://arxiv.org/abs/2309.14594
• DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
• PDF: https://arxiv.org/pdf/2309.14594v2