Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Autores: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una recompensa de estilo aprendida de forma adversarial a partir de 4,5 s de captura de movimiento de un pastor alemán sustituye a una recompensa diseñada a mano y se transfiere a un cuadrúpedo A1 real con un menor coste de transporte.

Por qué importa

El ajuste de recompensas es una gran parte del trabajo de ingeniería en la locomoción con patas sim-to-real. El artículo muestra que unos pocos segundos de movimiento de referencia pueden sustituir a una recompensa de estilo de 13 términos diseñada a mano en un cuadrúpedo real, mientras la política se sigue apartando de los clips cuando hace falta para seguir las velocidades ordenadas y cambia de marcha con la velocidad.

Problema

Los agentes de aprendizaje por refuerzo para locomoción con patas entrenados con una recompensa subespecificada suelen aprender comportamientos como agitar las extremidades, hacer vibrar las patas o contactos de alto impulso que explotan las imprecisiones del simulador y no pueden funcionar en un robot real. El remedio habitual es una recompensa de estilo compleja diseñada a mano, que requiere un conocimiento sustancial del dominio y un ajuste delicado, y que tiende a ser específica de una plataforma y una tarea.

Solución propuesta

Los autores adaptan Adversarial Motion Priors (AMP) de los gráficos por computadora: un discriminador entrenado con un objetivo GAN de mínimos cuadrados y una penalización de gradiente aprende a distinguir las transiciones de estado de un conjunto de datos de captura de movimiento de las transiciones producidas por la política, y su salida se convierte en una recompensa de estilo que se suma a una recompensa de tarea de seguimiento de velocidad (pesos 0,65 y 0,35). Clips de un pastor alemán que suman 4,5 segundos se readaptan al robot A1 con cinemática inversa, y la política (ángulos articulares objetivo a 30 Hz, seguidos por controladores PD) se entrena con PPO en 5.280 entornos de Isaac Gym con aleatorización de dominio antes de desplegarla en el hardware.

Ideas clave

• Una recompensa de estilo aprendida de forma adversarial a partir de 4,5 s de captura de movimiento puede sustituir a una recompensa de estilo de 13 términos diseñada a mano y aun así dar políticas que se pueden desplegar en un cuadrúpedo real.
• Como el discriminador puntúa transiciones de estado en lugar de seguir un clip concreto, la política puede seguir órdenes de velocidad que no aparecen en los datos de referencia.
• Las políticas entrenadas con el prior de movimiento cambian de marcha según la velocidad ordenada (paso de ambladura a 0,8 m/s, trote a 1,7 m/s y un cambio de ambladura a medio galope cuando la orden sube de 1 m/s a 2 m/s), lo que los autores relacionan con la forma en que los animales reducen su consumo de energía.
• Sin recompensa de estilo, la política explota una dinámica imprecisa del simulador haciendo vibrar las patas a alta velocidad y par; sigue bien la velocidad, pero es demasiado violenta para funcionar en el robot real.
• Los autores atribuyen el menor coste de transporte a estrategias energéticamente eficientes ya presentes en los datos de movimiento del perro.

Resultados principales

• Coste mecánico de transporte en simulación (Tabla II), con velocidades ordenadas de 0,4, 0,8, 1,2 y 1,6 m/s: 1,07, 0,93, 1,02 y 1,12 con la recompensa AMP frente a 1,54, 1,37, 1,40 y 1,41 con la recompensa de estilo compleja. El texto da para la recompensa compleja un rango de 1,37 a 1,65, que no coincide con el valor más alto de la tabla, 1,54.
• Sin recompensa de estilo, el coste de transporte fue de 14,03, 8,00, 6,05 y 5,18 a las mismas cuatro velocidades, debido a pares y velocidades de motor elevados.
• Velocidad de avance medida para órdenes de 0,4/0,8/1,2/1,6 m/s: 0,36/0,77/1,11/1,52 m/s con AMP, 0,41/0,88/1,28/1,67 m/s con la recompensa compleja y 0,42/0,82/1,22/1,61 m/s sin recompensa de estilo.
• El entrenamiento llevó 4 mil millones de pasos de entorno (unos 4,2 años de datos simulados) en 16 horas en una sola GPU Tesla V100.
• En el A1 real, la política AMP siguió órdenes sinusoidales de velocidad lineal y angular, recorrió una ruta con giros cerrados y pasó de ambladura a medio galope cuando la orden subió de 1 m/s a 2 m/s.

Limitaciones

• El artículo no tiene sección de limitaciones. Su evaluación en el robot real es cualitativa (diagramas de marcha, trazas de velocidad, gráficos de coste de transporte y un ejemplo de seguimiento de ruta), sin tasas de éxito ni tablas de energía medidas en hardware.
• Todas las cifras de coste de transporte y de seguimiento de velocidad de la Tabla II proceden de simulación.
• Los datos de referencia son 4,5 s de un único pastor alemán (ambladura, trote, medio galope y giro sobre sí mismo), readaptados a un solo robot, el A1; no se prueba ningún otro robot ni habilidad.
• En simulación la política AMP va ligeramente por debajo de la velocidad de avance ordenada en todas las órdenes probadas (por ejemplo, 1,52 m/s para una orden de 1,6 m/s).

Impacto en el campo

Finalista del IROS 2022 Best Paper Award y del ABB Best Student Paper Award, y citado 210 veces. El artículo remite a una página del proyecto con vídeos y al repositorio del proyecto, que enlaza el código en github.com/Alescontrela/AMP_for_hardware.

Resumen

Entrenar un agente simulado de alta dimensión con una función de recompensa subespecificada a menudo lleva al agente a aprender estrategias físicamente inviables que son ineficaces cuando se despliegan en el mundo real. Para mitigar estos comportamientos poco naturales, quienes practican el aprendizaje por refuerzo suelen utilizar funciones de recompensa complejas que fomentan comportamientos físicamente plausibles. Sin embargo, a menudo se requiere un proceso de ajuste tedioso y laborioso para crear recompensas diseñadas a mano que quizá no generalicen fácilmente entre plataformas y tareas. Proponemos sustituir las funciones de recompensa complejas por "recompensas de estilo" aprendidas a partir de un conjunto de datos de demostraciones de captura de movimiento. Una recompensa de estilo aprendida se puede combinar con una recompensa de tarea arbitraria para entrenar políticas que realicen tareas usando estrategias naturalistas. Estas estrategias naturales también pueden facilitar la transferencia al mundo real. Nos basamos en Adversarial Motion Priors (priors de movimiento adversariales), un enfoque del ámbito de los gráficos por computadora que codifica una recompensa de estilo a partir de un conjunto de datos de movimientos de referencia, para demostrar que un enfoque adversarial para entrenar políticas puede producir comportamientos que se transfieren a un robot cuadrúpedo real sin requerir funciones de recompensa complejas. También demostramos que se puede aprender una recompensa de estilo eficaz a partir de unos pocos segundos de datos de captura de movimiento recogidos de un pastor alemán, y que conduce a estrategias de locomoción energéticamente eficientes con transiciones de marcha naturales.

Enlaces

• arXiv 2203.15103: https://arxiv.org/abs/2203.15103
• DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
• PDF: https://arxiv.org/pdf/2203.15103v1
• Código: https://github.com/escontra/AMP_for_hardware
• Página del proyecto: https://sites.google.com/berkeley.edu/amp-in-real/home