XIRL: Cross-embodiment Inverse Reinforcement Learning

Autores: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Los embeddings de consistencia cíclica temporal aprendidos de vídeos de demostradores con corporeidades distintas dan una recompensa de distancia al objetivo que entrena políticas de RL en corporeidades no vistas.

Por qué importa

La recompensa solo necesita vídeos: ni etiquetas de acción, ni fotogramas emparejados, ni instrumentación del entorno más allá de una cámara. En los experimentos del artículo, la misma recompensa aprendida entrenó a agentes cuyos cuerpos no estaban en el conjunto de demostraciones, que es la situación al enseñar a un robot a partir de vídeo humano.

Problema

Los robots podrían aprender tareas a partir de vídeos en tercera persona, como humanos demostrándolas, pero el cuerpo del demostrador difiere del del robot, de modo que cada uno resuelve la tarea con una estrategia y una trayectoria distintas. Los métodos anteriores de aprendizaje de recompensas necesitaban una trayectoria de referencia, un alineamiento por índice temporal o correspondencias de fotogramas etiquetadas por humanos entre demostrador y aprendiz.

Solución propuesta

XIRL entrena un codificador de imágenes ResNet-18 con consistencia cíclica temporal (TCC) sobre vídeos solo de observaciones agrupados de varias corporeidades, sin etiquetas de corporeidad. La recompensa es una sigmoide de la distancia al cuadrado negativa, escalada por una temperatura, entre el embedding del fotograma actual y el embedding medio de los fotogramas finales de las demostraciones, y sobre esa recompensa se entrena una política Soft Actor-Critic para la nueva corporeidad.

Ideas clave

• Los embeddings TCC codifican el progreso de la tarea, así que la distancia a un único embedding objetivo da una recompensa densa sin trayectoria de referencia ni alineamiento por índice temporal.
• Agrupar demostraciones de más corporeidades, manteniendo el total en 1000 demostraciones, aceleró el RL en una corporeidad excluida.
• Cuerpos distintos resuelven la misma tarea de formas muy diferentes: en X-MAGICAL la longitud media de las demostraciones va de 48,0 pasos (long-stick) a 110,8 (gripper).
• La recompensa aprendida da crédito parcial por un progreso parcial, p. ej. por moverse hacia un cajón antes de chocar con él, donde la recompensa dispersa del entorno se queda en cero.

Resultados principales

• Barrido en X-MAGICAL con la misma corporeidad: XIRL fue al menos tan eficiente en muestras como las otras recompensas aprendidas y más eficiente en muestras que la recompensa del entorno en 3 de 4 corporeidades.
• Entre corporeidades, con cada uno de los 4 agentes excluido y el codificador entrenado con los otros 3: XIRL generalizó al nuevo agente significativamente mejor que las recompensas TCN, LIFS y de clasificador de objetivo (5 semillas, 50 episodios de evaluación cada una).
• Vídeos humanos reales del conjunto de datos RLV entrenando un brazo Sawyer simulado para empujar un bloque: XIRL más la recompensa dispersa fue más eficiente en muestras que RLV y que la recompensa dispersa sola, sin etiquetas de fotogramas emparejados ni datos del dominio del robot en el aprendizaje de la recompensa.
• X-REAL: 93 vídeos reales de 9 efectores finales (manos humanas, guantes de esquí, pinzas de cocina, un disfraz de mano de langosta, pinzas de depilar, mordazas, un brazo recogedor) llevando cinco bolígrafos a dos vasos; en One Hand 5 Fingers un intento incompleto recibió aproximadamente la mitad de la recompensa de uno exitoso.
• Benchmark X-MAGICAL: 4 corporeidades simuladas con 1000 demostraciones expertas cada una.

Limitaciones

• No se entrenó ninguna política en un robot real; los autores afirman que aún tienen que mostrar el aprendizaje de políticas en un robot real.
• X-MAGICAL es una tarea de barrido 2D construida sobre PyMunk, que los autores describen como una versión muy simplificada del escenario del mundo real.
• Las demostraciones contienen solo trayectorias exitosas, por lo que un codificador que generalice mal puede definir una tarea distinta de la prevista; el artículo propone combinar la recompensa aprendida con una recompensa dispersa de la tarea.
• En el conjunto de datos real X-REAL el artículo muestra solo curvas de recompensa aprendida, no aprendizaje de políticas.
• La mayoría de los resultados se dan como curvas de aprendizaje en lugar de tasas de éxito tabuladas, por lo que se reportan pocas cifras exactas.

Impacto en el campo

Finalista del CoRL 2021 Best Paper Award, con 182 citas según la cifra indicada. El artículo presenta el benchmark X-MAGICAL y el conjunto de datos X-REAL; la copia con licencia v1 dice que el código y los conjuntos de datos se pondrán a disposición, pero no da ningún enlace.

Resumen

Investigamos el escenario de imitación visual entre corporeidades distintas (cross-embodiment), en el que los agentes aprenden políticas a partir de vídeos de otros agentes (como humanos) que demuestran la misma tarea, pero con diferencias marcadas en su corporeidad (embodiment): forma, acciones, dinámica del efector final, etc. En este trabajo demostramos que es posible descubrir y aprender automáticamente funciones de recompensa basadas en visión a partir de vídeos de demostración de corporeidades distintas que sean robustas a estas diferencias. En concreto, presentamos un método autosupervisado de aprendizaje por refuerzo inverso entre corporeidades (Cross-embodiment Inverse Reinforcement Learning, XIRL) que aprovecha restricciones de consistencia cíclica temporal para aprender embeddings visuales profundos que capturan el progreso de la tarea a partir de vídeos offline de demostraciones de varios agentes expertos, cada uno de los cuales realiza la misma tarea de manera diferente debido a las diferencias de corporeidad. Antes de nuestro trabajo, producir recompensas a partir de embeddings autosupervisados requería normalmente el alineamiento con una trayectoria de referencia, que puede ser difícil de obtener. Mostramos empíricamente que, si los embeddings tienen en cuenta el progreso de la tarea, tomar simplemente la distancia negativa entre el estado actual y el estado objetivo en el espacio de embeddings aprendido es útil como recompensa para entrenar políticas con aprendizaje por refuerzo. Encontramos que nuestra función de recompensa aprendida no solo funciona para las corporeidades vistas durante el entrenamiento, sino que también generaliza a corporeidades completamente nuevas. También encontramos que las políticas de XIRL son más eficientes en muestras que las líneas base y, en algunos casos, superan la eficiencia en muestras del mismo agente entrenado con recompensas dispersas reales (ground truth).

Enlaces

• arXiv 2106.03911: https://arxiv.org/abs/2106.03911
• DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
• PDF: https://arxiv.org/pdf/2106.03911v1