Perceptive pedipulation with local obstacle avoidance
作者: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
面向 ANYmal 的端到端 RL 策略，在用整个身体避开障碍物的同时跟踪足部位置指令，使用 2.5D 高度扫描以及一个允许有意足部接触的开关。
为何重要
控制接口仍然只是单一的足部位置指令，因此人类操作员或高层规划器可以在障碍物附近使用它，而无需为整个身体规划无碰撞运动。它让四足机器人无需专门的机械臂即可具备操作技能；作者指出，机械臂会增加质量和复杂性，并降低负载能力。
问题
早期的足部操作策略只用本体感觉跟踪足部位置指令，因此无法避障，会撞上挡路的任何东西。在无感知策略之上加一个具备障碍物感知能力的规划器，仍会让身体其余部分可能发生碰撞，而防止碰撞所需的大安全裕度又排除了在狭窄空间中工作的可能。
提出的方法
一个在 NVIDIA Isaac Lab 中训练的单一 RL 策略，以本体感觉、分辨率 0.1 m 的 2.4 m × 1.6 m 高度扫描和足部位置指令为输入，输出关节位置偏移。训练分三个阶段进行：先是带有指令空间课程学习的无障碍物足部操作，然后在五个场景中加入可移动的长方体障碍物，并同时惩罚接触事件和接触力，最后加入高程地图噪声，以实现 sim-to-real 迁移。一个布尔接触开关决定是否惩罚右前脚的接触，因此同一个策略既可以避开障碍物，也可以推动它。
关键见解
- 同时惩罚接触事件和接触力大小，可以堵住两种钻空子的行为：以最小的力推动障碍物，以及用短促的大力推把它推开。
- 五个带长方体的静态训练场景，就足以让策略避开未见过的形状和移动障碍物；作者推断，它把高度扫描中每个被占据的栅格视为一根需要避开的空间柱，而不是识别物体形状。
- 使用可移动障碍物而非静态地形障碍物会耗费更多训练时间，但能让策略学会在接触开关允许时推动物体。
- 先训练无障碍物的足部操作，再加入障碍物，可以加快训练。
- 该策略跟踪的是点而不是轨迹，因此伸向身后可能使它处于不利于跟随路径其余部分的姿态。
主要结果
- 在 1024 条采样指令上的自由空间跟踪：接触开关为 0（避让）时平均误差 0.057 m，为 1（允许接触）时为 0.047 m。
- 仿真中绕过墙角伸脚：早期的无感知策略撞上墙角并摔倒；具备感知的策略走了更长的路径并避免了碰撞。
- 单障碍物仿真测试：在全部四项测试中都没有自碰撞或与环境的碰撞；当障碍物降低时，脚从其上方越过而不是绕行。
- 四个障碍物：在 1.3 m 的间隙下，策略不再转动基座，而是伸向身后，基座后部发生了一些低力碰撞；顺时针方向的指令路径使跟踪性能下降。
- 在 ANYmal 硬件上，当指令穿过一个纸箱时，脚绕开了纸箱（重复五次），也绕开了一个训练中未见过的圆形金属桶。
- 硬件上的接触开关：开关设为 1 时，机器人推倒障碍物以到达指令位置，最终跟踪误差为 0.073 m。
局限
- 作者指出，控制器对一些极端情况处理不佳，包括正位于基座下方的障碍物，以及训练中未见过的狭窄空间。
- 2.5D 高度扫描只能表示适合 2.5D 地图且大于栅格步长的结构；作者呼吁采用 3D 表示。
- 侧面而来的动态障碍物只在机器人右侧被避开，反应速度受限于高程地图的更新频率。
- 在仿真中，由于感知视野有限或缺乏转动基座的空间，策略有时会卡住。
- 避免用进行足部操作的那只脚接触，会略微降低自由空间跟踪精度（0.057 m 对 0.047 m）。
对领域的影响
入围 Humanoids 2024 最佳互动展示奖决赛，被引用 12 次。论文未提供代码、训练好的策略或数据的链接。
摘要
足部操作（pedipulation）利用足式机器人的脚进行移动机械臂操作，无需专门的机械臂。以往的工作展示了无感知且针对特定任务的足部操作技能，但它们未能考虑环境中的静态和动态障碍物。为了解决这一局限，我们提出一种基于强化学习的方法，训练一个具备障碍物感知能力的全身策略，在跟踪足部位置指令的同时避开障碍物。尽管该策略在仿真中只用五种不同的静态场景进行训练，我们表明它能够泛化到障碍物数量和类型各不相同的未知环境。我们通过一组仿真实验分析了该方法的性能，并成功将学到的策略部署到 ANYmal 四足机器人上，展示了它在绕过静态和动态障碍物的同时跟随足部指令的能力。
链接
- arXiv 2409.07195: https://arxiv.org/abs/2409.07195
- DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
- PDF: https://arxiv.org/pdf/2409.07195v1