PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

Autores: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un codificador de profundidad y propiocepción de 128-d entrenado por información predictiva, con una pequeña cabeza de política entrenada por ARS: 100 % de éxito en piedras de paso reales frente al 40 % de ARS.

Por qué importa

Conserva el paralelismo y la sencillez de las estrategias evolutivas a la vez que reduce su principal obstáculo para el control basado en visión, el tamaño del espacio de búsqueda de parámetros. Las políticas se transfirieron de PyBullet a un Laikago real para las piedras de paso y la navegación en interiores usando el mismo procedimiento de simulación a realidad que el trabajo anterior con ARS.

Problema

Las estrategias evolutivas como Augmented Random Search (ARS) se paralelizan bien y exploran en el espacio de parámetros, pero escalan mal a los muchos parámetros de las redes convolucionales necesarias para la locomoción visual. En las pruebas de los autores, las alternativas basadas en gradientes SAC y PI-SAC no lograron ningún progreso significativo en estas tareas, y la política de locomoción visual anterior con ARS solo alcanzó un 40 % de éxito en piedras de paso reales.

Solución propuesta

PI-ARS divide el agente en un codificador y una pequeña cabeza de política. El codificador transforma dos imágenes de profundidad de 32×24 y los estados propioceptivos en un vector de 128-d y se entrena por descenso de gradiente para maximizar la información predictiva, combinando un término InfoNCE que predice la observación de profundidad futura con una predicción de la recompensa mediante RNN, sobre trayectorias que ARS ya recoge; después ARS optimiza solo una cabeza MLP de 3 capas que emite comandos de alto nivel para un controlador de bajo nivel basado en MPC.

Ideas clave

• Separar el aprendizaje de representaciones (basado en gradientes) de la búsqueda de políticas (sin gradientes) evita el problema de escalado de las estrategias evolutivas manteniendo sus ventajas.
• Las trayectorias de los rollouts de perturbación de ARS se guardan en un búfer de repetición y se reutilizan para entrenar el codificador, de modo que el aprendizaje de representaciones no necesita datos adicionales del entorno.
• La predicción de la recompensa por sí sola dio representaciones demasiado débiles para resolver las tareas; fue necesario el término contrastivo de observación futura.
• Los autores sugieren que la exploración en el espacio de parámetros y la estabilidad de ARS son críticas aquí: añadir información predictiva a SAC (PI-SAC) no ayudó, así que una buena representación por sí sola no bastaba.

Resultados principales

• Piedras de paso reales (cuatro piedras, tres huecos de 0,12–0,18 m): PI-ARS tiene éxito en 10 de 10 ensayos (100 %), frente al 40 % de la línea base ARS con el mismo entrenamiento y la misma configuración de evaluación.
• Piedras de paso irregulares simuladas: el retorno medio tras 2 000 000 de episodios de entrenamiento sube un 48,01 %, de 2,93 a 4,34.
• PI-ARS da retornos más altos y mejor eficiencia de muestras que ARS en las cuatro tareas simuladas: piedras de paso irregulares, pilotes al tresbolillo, plataformas móviles y navegación en interiores.
• SAC y PI-SAC no lograron ningún progreso de aprendizaje no despreciable en estas tareas a pesar de un ajuste extenso de hiperparámetros.
• Navegación real en interiores: la política alcanzó el objetivo y encontró un atajo entre dos obstáculos, aunque chocó con el brazo de uno de los obstáculos.
• El entrenamiento usó 1024 perturbaciones por iteración de ARS conservando las 512 mejores, hasta 4000 iteraciones (como máximo 2 048 000 episodios de simulación por ensayo), y 30 ensayos por método.

Limitaciones

• En la navegación real en interiores el robot chocó con el brazo de un obstáculo porque solo se había entrenado con obstáculos simulados en forma de caja.
• Solo se probaron tareas en interiores; la locomoción visual en exteriores queda para trabajo futuro.
• La política real de piedras de paso se entrenó con una versión más fácil del terreno simulado, con cambios menores en la altura de las piedras.
• La navegación en interiores necesitó un sistema de captura de movimiento para seguir la posición de la base del robot y obtener el vector relativo al objetivo.
• La política aprendida solo emite comandos de alto nivel y depende de un controlador de bajo nivel basado en MPC para ejecutarlos.

Impacto en el campo

Finalista del premio al mejor artículo de IROS 2022 (Best Paper Award) y del premio ABB al mejor artículo de estudiante (ABB Best Student Paper Award), con 21 citas. Los autores publican una página de vídeo complementaria; el artículo no indica ninguna publicación de código.

Resumen

Los algoritmos de estrategias evolutivas (Evolution Strategy, ES) han mostrado resultados prometedores en el entrenamiento de políticas complejas de control robótico gracias a su capacidad de paralelismo masivo, su implementación sencilla, su exploración eficaz del espacio de parámetros y su rápido tiempo de entrenamiento. Sin embargo, una limitación clave de las ES es su escalabilidad a modelos de gran capacidad, incluidas las arquitecturas modernas de redes neuronales. En este trabajo desarrollamos Predictive Information Augmented Random Search (PI-ARS) para mitigar esta limitación aprovechando avances recientes en aprendizaje de representaciones para reducir el espacio de búsqueda de parámetros de las ES. En concreto, PI-ARS combina una técnica de aprendizaje de representaciones basada en gradientes, Predictive Information (PI), con un algoritmo de ES sin gradientes, Augmented Random Search (ARS), para entrenar políticas que pueden procesar entradas sensoriales complejas del robot y manejar una dinámica del robot altamente no lineal. Evaluamos PI-ARS en un conjunto de tareas difíciles de locomoción visual en las que un robot cuadrúpedo tiene que caminar sobre piedras de paso irregulares, pilotes al tresbolillo y plataformas móviles, así como completar una tarea de navegación en interiores. En todas las tareas, PI-ARS muestra una eficiencia de aprendizaje y un rendimiento significativamente mejores que la línea base ARS. Validamos además nuestro algoritmo demostrando que las políticas aprendidas pueden transferirse con éxito a un robot cuadrúpedo real, logrando por ejemplo una tasa de éxito del 100 % en el entorno real de piedras de paso, lo que mejora drásticamente los resultados previos, que alcanzaban un 40 % de éxito.

Enlaces

• arXiv 2207.13224: https://arxiv.org/abs/2207.13224
• DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
• PDF: https://arxiv.org/pdf/2207.13224v1
• Página del proyecto: https://kuanghuei.github.io/piars