Extreme Parkour with Legged Robots
在 20 小时内训练完成的足式机器人跑酷强化学习系统
许可证
BSD-3-Clause
概述
强化学习系统，使足式机器人能够执行跑酷动作，包括翻越障碍物、跨越间隙和穿越复杂地形。使用 Isaac Gym 仿真器在 20 小时内完成训练。
这项来自 ICRA 2024 的开创性研究展示了足式机器人如何通过强化学习在极短的训练时间内学习复杂的跑酷技能。该系统使用两阶段训练流水线：基础策略训练（8-10 小时）然后是蒸馏策略训练。基于 Isaac Gym 和 PyTorch 构建，该框架使机器人能够执行不间断的攀爬、跳跃和弹跳动作，这些动作此前被认为需要大量手工工程。该方法结合了 legged_gym 环境和 rsl_rl 强化学习库，支持仿真器可视化和无头系统的基于 Web 的查看。模型可以导出为 JIT 追踪版本，部署到边缘设备上，使该技术适用于实际应用。
为何重要
Extreme Parkour 证明，强化学习可以教会足式机器人完成堪比训练有素的动物的敏捷动作。该系统在不到 20 小时的训练中学会了攀爬、跳跃和匍匐穿越障碍——这是足式机器人敏捷性的一项突破。
解决的问题
足式机器人通常只能在平地上行走。本项目表明，强化学习能够发现敏捷的运动行为，让机器人跨越极端障碍，使我们离能够穿越任何地形的机器人更近一步。
要点
- 足式机器人表演跑酷：攀爬、跳跃、匍匐穿越障碍
- 完全在仿真中通过强化学习训练
- 不到 20 小时的训练即可实现极限动作
- 成功零样本迁移到真实的 Unitree 机器人上
- 没有预编程步态——所有行为均为端到端学习所得
适用人群
- 足式运动研究人员
- 开发敏捷四足机器人控制器的团队
- 研究复杂运动控制的强化学习研究人员
- 打造用于崎岖地形部署的机器人的公司
局限
- 训练需要特定的仿真环境配置
- 真实世界迁移仅限于特定的 Unitree 机器人硬件
- 极限动作可能导致硬件磨损或损坏
- 当前方法针对特定任务，而非通用方案