Learning Vision-Based Bipedal Locomotion for Challenging Terrain

Autores: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una política de RL entrenada en simulación más un predictor de profundidad a mapa de alturas permiten al bípedo Cassie cruzar bloques, escaleras y un escalón de 0,5 m sin odometría global ni ajuste fino en el mundo real.

Por qué importa

Todo el sistema se ejecuta a bordo y no estima la pose global, lo que elimina una fuente de fallos habitual en los robots con patas, que golpean el suelo con fuerza y a menudo. Los autores lo presentan como la primera demostración sim-to-real de locomoción bípeda basada en visión sobre terreno difícil, y documentan qué decisiones de entrenamiento fueron necesarias para que la transferencia funcionara.

Problema

Los controladores de RL para bípedos han sido en su mayoría ciegos y se basan solo en la propiocepción, por lo que no pueden anticipar el terreno y tienden a usar marchas agresivas con trayectorias de balanceo altas. Las cadenas de percepción basadas en modelos dividen el problema en control de cuerpo completo, planificación de pisadas, odometría y mapeo del terreno, y los mapas construidos en un marco global derivan con el error de estimación de la pose causado por los contactos frecuentes y el movimiento agresivo.

Solución propuesta

Se entrena una política de locomoción con PPO en MuJoCo sobre un mapa de alturas de 1,5 m por 1 m con resolución de 5 cm, expresado respecto a la base flotante del robot; combina una política ciega LSTM preentrenada con un modulador basado en visión que también ajusta la frecuencia de la marcha y los desfases de fase de cada pierna. Un predictor del mapa de alturas independiente (una etapa LSTM seguida de una etapa de refinamiento U-Net) se entrena con 30.000 episodios simulados para obtener ese mapa de alturas a partir de un historial de imágenes de profundidad egocéntricas y de estados del robot. La aleatorización de dominio de la dinámica, la eficiencia del par, los retardos, el ruido del mapa de alturas y el ruido de las imágenes de profundidad lleva ambas redes al robot real.

Ideas clave

Expresar el mapa de alturas en el marco local del robot permite a la política reaccionar al terreno sin mapeo global ni odometría; en el hardware, la política siguió colocando correctamente los pies en fase de vuelo sobre terreno que la cámara ya no veía, lo que los autores interpretan como que la política mantiene una odometría interna.
La mezcla de terrenos muestreados (sobre todo bloques, crestas y escaleras) moldeó una marcha robusta y no agresiva con más eficacia que añadir términos de recompensa heurísticos: las escaleras regulan la longitud del paso y las crestas, la altura del paso.
Sin una penalización por colisión de los pies, la política alcanzó un éxito similar en simulación, pero usaba las colisiones como realimentación, por ejemplo deslizando un pie por una cara vertical; los tropiezos frecuentes resultantes impidieron la transferencia sim-to-real.
Aleatorizar la eficiencia del par fue especialmente importante para el escalón de 0,5 m, en el que el motor de la rodilla se satura.
Un reloj de marcha aprendido y un crítico con entradas privilegiadas (posiciones globales de los pies, mapas de alturas alrededor de cada pie, telémetros en la punta de los pies) aumentaron ambos el éxito en los terrenos difíciles en simulación.

Resultados principales

En el hardware, Cassie cruzó bloques altos individuales, escaleras, bloques aleatorios y un escalón de 0,5 m (alrededor del 60 % de la longitud de la pierna) a velocidades de hasta 1 m/s, y mantuvo la velocidad y el rumbo en una cinta de correr mientras una persona iba colocando bloques sobre ella.
Error de reconstrucción del mapa de alturas en simulación (MAE): LSTM 2,806 cm, transformador 4,221 cm, MLP 4,932 cm, LSTM sin estados del robot 4,448 cm.
En simulación en lazo cerrado, todos los predictores del mapa de alturas dieron tasas de éxito similares, pero el predictor LSTM produjo el menor número de episodios con colisión de los pies y de terminaciones causadas por colisiones.
En el robot, el flujo de profundidad funcionó a 90 FPS, la inferencia del mapa de alturas por sí sola funcionó a 200 Hz en la Jetson Orin Nano, y el retardo de extremo a extremo entre el predictor y la política se midió en hasta 20 ms.
En ablaciones en simulación (1000 episodios por modo de terreno), las políticas sin el reloj aprendido o sin el crítico privilegiado tuvieron un éxito notablemente menor en terreno difícil, y la política ciega fue la de peor rendimiento.

Limitaciones

Como solo se usa una cámara orientada hacia delante, los comandos de velocidad en terreno de crestas, escaleras y bloques excluyen caminar hacia atrás y de lado.
La cámara egocéntrica no puede ver el suelo bajo el robot, por lo que el terreno bajo los pies tiene que gestionarse a partir de lo que la política ya ha visto.
Los resultados en hardware se muestran de forma cualitativa (bloques de madera del laboratorio, escaleras, una cinta de correr y el vídeo del envío); el artículo no da tasas de éxito en el mundo real.
Los terrenos de entrenamiento y evaluación se limitan a cinco tipos generados por procedimientos: llano, colinas, bloques, crestas y escaleras.
La penalización por colisión de los pies actúa solo como restricción blanda, que la política puede violar para evitar caerse.

Impacto en el campo

Finalista del IEEE ICRA 2024 Best Paper Award in Cognitive Robotics, con 98 citas. El artículo no enlaza código, datos ni diseños de hardware publicados.

Resumen

El aprendizaje por refuerzo (RL) para la locomoción bípeda ha demostrado recientemente marchas robustas sobre terrenos moderados usando solo detección propioceptiva. Sin embargo, estos controladores ciegos fallarán en entornos en los que los robots deben anticipar el terreno local y adaptarse a él, lo que requiere percepción visual. En este artículo proponemos un sistema totalmente aprendido que permite a los robots bípedos reaccionar al terreno local manteniendo la velocidad y la dirección de desplazamiento ordenadas. Nuestro enfoque entrena primero un controlador en simulación usando un mapa de alturas expresado en el marco local del robot. A continuación, se recogen datos en simulación para entrenar un predictor del mapa de alturas, cuya entrada es el historial de imágenes de profundidad y de estados del robot. Demostramos que, con una aleatorización de dominio adecuada, este enfoque permite una transferencia de simulación a realidad (sim-to-real) exitosa sin estimación explícita de la pose y sin ajuste fino con datos del mundo real. Hasta donde sabemos, este es el primer ejemplo de aprendizaje sim-to-real para locomoción bípeda basada en visión sobre terrenos difíciles.

Enlaces

arXiv 2309.14594: https://arxiv.org/abs/2309.14594
DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
PDF: https://arxiv.org/pdf/2309.14594v2