Extreme Parkour with Legged Robots

Sistema de RL para parkour de robots con patas entrenado en menos de 20 horas

Licencia

BSD-3-Clause

Resumen

Sistema de aprendizaje por refuerzo que permite a robots con patas realizar maniobras de parkour incluyendo escalar obstáculos, saltar brechas y navegar terreno desafiante. Entrenado en menos de 20 horas usando el simulador Isaac Gym.

Esta investigación innovadora de ICRA 2024 demuestra cómo los robots con patas pueden aprender habilidades complejas de parkour mediante aprendizaje por refuerzo en tiempos de entrenamiento notablemente cortos. El sistema utiliza un pipeline de entrenamiento en dos etapas: entrenamiento de la política base (8-10 horas) seguido del entrenamiento de la política de destilación. Construido sobre Isaac Gym con PyTorch, el framework permite a los robots realizar maniobras continuas de escalada, salto y brinco que anteriormente se pensaba requerían una extensa ingeniería manual. El enfoque combina el entorno legged_gym con la biblioteca de aprendizaje por refuerzo rsl_rl, soportando tanto visualización en el simulador como visualización basada en web para sistemas sin pantalla. Los modelos pueden exportarse como versiones trazadas con JIT para despliegue en dispositivos de borde, haciendo la tecnología práctica para aplicaciones del mundo real.

Por qué importa

Extreme Parkour demostró que el aprendizaje por refuerzo puede enseñar a robots con patas a realizar maniobras ágiles que rivalizan con las de animales entrenados. El sistema aprendió a trepar, saltar y arrastrarse a través de obstáculos en menos de 20 horas de entrenamiento — un gran avance en la agilidad de los robots con patas.

Qué problema resuelve

Los robots con patas suelen estar limitados a caminar sobre suelo plano. Este proyecto demuestra que el RL puede descubrir comportamientos de locomoción ágiles que permiten a los robots superar obstáculos extremos, acercándonos a robots capaces de desplazarse por cualquier terreno.

Puntos clave

• Robots con patas haciendo parkour: trepar, saltar y arrastrarse a través de obstáculos
• Entrenado íntegramente en simulación mediante aprendizaje por refuerzo
• Menos de 20 horas de entrenamiento para lograr maniobras extremas
• Transferido con éxito zero-shot a robots Unitree reales
• Sin marchas preprogramadas — todos los comportamientos se aprenden de extremo a extremo

Para quién es

• Investigadores en locomoción con patas
• Equipos que desarrollan controladores ágiles para cuadrúpedos
• Investigadores de RL que estudian el control motor complejo
• Empresas que construyen robots para su despliegue en terrenos accidentados

Limitaciones

• Requiere una configuración de simulación específica para el entrenamiento
• La transferencia al mundo real se limita a hardware específico de robots Unitree
• Las maniobras extremas pueden causar desgaste o daños en el hardware
• El enfoque actual es específico de la tarea en lugar de ser de propósito general