Legged Locomotion in Challenging Terrains using Egocentric Vision

Autores: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

RL sobre muestras baratas del terreno, seguido de destilación a profundidad, da a un cuadrúpedo A1 una política de profundidad a ángulos articulares que sube escaleras y bordillos y cruza huecos y piedras de paso.

Por qué importa

La política desplegada usa una sola cámara de profundidad y no necesita mapa de elevación, localización ni MPC, por lo que se ejecuta en la placa UP y la Jetson NX a bordo del robot. Del entrenamiento surgen marchas como una gran abducción de cadera en las escaleras, lo que permite a un robot con una altura de cadera de 28 cm subir escalones cercanos a su propia altura.

Problema

La locomoción con patas basada en visión suele dividirse en cartografía de elevación y planificación de apoyos, y los mapas de elevación necesitan fusionar varias imágenes de profundidad con estimaciones de pose obtenidas de la odometría. La deriva de la pose y el ruido de los sensores hacen que estos mapas sean poco fiables en huecos y piedras de paso, y las cámaras, lidars y el cómputo adicionales no están disponibles en un robot pequeño y de bajo coste. Un robot pequeño tampoco puede depender de priors de marcha predefinidos para salvar obstáculos cercanos a su propia altura.

Solución propuesta

La fase 1 entrena una política en simulación con PPO usando scandots (alturas del terreno muestreadas en puntos fijos bajo el robot) e información privilegiada, con recompensas basadas en la energía y sin priors de marcha. La fase 2 la destila con DAgger en una política recurrente, ya sea una GRU monolítica o estimadores al estilo RMA que alimentan la política base congelada, que transforma la profundidad egocéntrica y la propiocepción directamente en ángulos articulares objetivo a 50 Hz y usa la memoria para inferir el terreno bajo las patas traseras.

Ideas clave

Renderizar la profundidad ralentiza la simulación en un orden de magnitud; ejecutar RL sobre scandots baratos y después destilar a profundidad con aprendizaje supervisado permite entrenar todo el sistema en una sola GPU en pocos días.
Una política recurrente puede recordar el terreno visto antes por la cámara frontal para colocar las patas traseras, sustituyendo un mapa de elevación explícito.
Sin priors de marcha, comportamientos adecuados para un robot pequeño, como una gran abducción de cadera para salvar los bordes de los escalones, surgen de recompensas que minimizan la energía.
Si los scandots y el campo de visión de la cámara se eligen de modo que la pérdida de imitación de la fase 2 siga siendo baja, el retorno de la política de la fase 2 es demostrablemente cercano al óptimo (Teorema 2.1).
Los flujos basados en mapas de elevación necesitan mucho ruido de entrenamiento para hacer frente a la deriva de la pose; en simulación esta línea base 'ruidosa' (noisy) apenas se mueve sobre las piedras de paso.

Resultados principales

Mundo real: 100 % de éxito subiendo y bajando escaleras (17 cm de alto, 30 cm de profundidad, 13 escalones), 100 % en huecos de 26 cm y 94 % en piedras de paso (30 cm de ancho, separadas 15 cm); la línea base ciega (blind) obtiene un 0 % al subir escaleras, en huecos y en piedras de paso.
Totales en simulación: desplazamiento medio hacia delante de 134,18 m (RMA) y 135,85 m (monolítica) frente a 73,05 m (ruidosa) y 84,79 m (ciega); tiempo medio hasta la caída de 278,45 s y 275,01 s frente a 147,83 s y 175,06 s.
Piedras de paso simuladas: las políticas RMA y monolítica recorren 18,83 m y 20,72 m, mientras que las líneas base ruidosa y ciega recorren 1,09 m y 1,02 m.
En pendientes simuladas, las políticas con visión llegan más lejos que las líneas base: hasta un 27 % según el texto de Resultados, hasta un 25 % según el pie de la Tabla 1.
Altura de escalones en pruebas urbanas: hasta 24 cm de alto (28 cm de anchura mínima) según la sección Urban Environments, y hasta 25 cm, el 89 % de la altura de la cadera, según la Introducción; bordillos de hasta 26 cm.
La línea base ciega completa la tarea de bajar escaleras todas las veces, pero con una marcha de caída de alto impacto que desprendió la cadera trasera derecha del robot durante los ensayos.

Limitaciones

Siguen produciéndose fallos cuando la visión o el terreno difieren entre la simulación y el mundo real; la única solución en este enfoque es recrear el caso en simulación y volver a entrenar, lo que los autores califican de limitación fundamental.
El robot solo se desplaza por el entorno y no interactúa con él; añadir un brazo es trabajo futuro.
Como el terreno bajo el cuerpo procede de la memoria visual, el robot a veces falla un escalón en las escaleras (y se recupera), y en exteriores a veces se queda atascado en grietas.
Las comparaciones en el mundo real usaron políticas de fase 2 distintas: la cámara frontal integrada para las escaleras y una cámara superior montada externamente para los huecos y las piedras de paso.
En hardware, el método solo se compara con la línea base ciega; la línea base con mapa de elevación (ruidosa) solo se prueba en simulación.

Impacto en el campo

Ganador del premio al mejor artículo de sistemas de CoRL 2022 (Best Systems Paper Award), con 373 citas. El artículo publica vídeos en la página del proyecto; no indica ninguna publicación de código.

Resumen

Los animales son capaces de una locomoción precisa y ágil usando la visión. Replicar esta capacidad ha sido un objetivo de larga data en robótica. El enfoque tradicional ha consistido en descomponer este problema en fases de cartografía de elevación y de planificación de apoyos. Sin embargo, la cartografía de elevación es propensa a fallos y a grandes artefactos de ruido, requiere hardware especializado y es biológicamente inverosímil. En este artículo presentamos el primer sistema de locomoción de extremo a extremo capaz de recorrer escaleras, bordillos, piedras de paso y huecos. Mostramos este resultado en un robot cuadrúpedo de tamaño medio usando una única cámara de profundidad orientada hacia delante. El pequeño tamaño del robot obliga a descubrir patrones de marcha especializados que no se ven en otros lugares. La cámara egocéntrica exige que la política recuerde información pasada para estimar el terreno bajo sus patas traseras. Entrenamos nuestra política en simulación. El entrenamiento tiene dos fases: primero entrenamos una política mediante aprendizaje por refuerzo con una variante de la imagen de profundidad barata de calcular, y después, en la fase 2, la destilamos en la política final, que usa profundidad, mediante aprendizaje supervisado. La política resultante se transfiere al mundo real y puede ejecutarse en tiempo real con el cómputo limitado del robot. Puede recorrer una gran variedad de terrenos y es robusta a perturbaciones como empujones, superficies resbaladizas y terreno rocoso. Los vídeos están en https://vision-locomotion.github.io

Enlaces

arXiv 2211.07638: https://arxiv.org/abs/2211.07638
DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
Página del proyecto: https://vision-locomotion.github.io/