MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

Autores: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

MimicPlay aprende un planificador latente a partir de 10 minutos de vídeo de juego con manos humanas y un controlador de transformador guiado por el plan a partir de unas pocas demostraciones teleoperadas, y eleva el éxito en horizonte largo en un brazo Franka.

Por qué importa

Los datos de juego humano no necesitan robot, etiquetas de tarea ni reinicios del entorno: una persona termina en unos 5 segundos lo que lleva 90 segundos de teleoperación del robot, y 10 minutos de juego equivalen aproximadamente a un conjunto de datos de teleoperación de 3 horas. Como el movimiento humano y las habilidades del robot comparten un mismo espacio de planes latentes, un vídeo humano también puede usarse directamente como prompt de objetivo para el robot.

Problema

El aprendizaje por imitación se ha limitado sobre todo a primitivas de horizonte corto porque las demostraciones de horizonte largo son lentas y laboriosas de recoger. Aprender de datos de juego del robot ayuda, pero sigue necesitando horas de teleoperación, por ejemplo 4,5 horas para C-BeT y 6 horas para TACO-RL.

Solución propuesta

MimicPlay divide el aprendizaje por fuente de datos. Un planificador latente condicionado al objetivo se entrena con 10 minutos de vídeo de juego humano por escena para predecir trayectorias futuras de la mano en 3D, seguidas con dos cámaras calibradas, mediante una cabeza de modelo de mezcla gaussiana (Gaussian Mixture Model), mientras una pérdida KL alinea las características visuales humanas y del robot. Después, una política de transformador de estilo GPT, entrenada con 20–40 demostraciones teleoperadas por tarea, transforma los planes latentes del planificador congelado junto con las entradas de la cámara de muñeca y propioceptivas en comandos del efector final y de la pinza.

Ideas clave

• Los planes de alto nivel pueden aprenderse a partir de datos baratos de juego humano, mientras que el control de bajo nivel procede de demostraciones teleoperadas que no tienen brecha de corporización.
• Hace falta una cabeza GMM para capturar las trayectorias multimodales de la mano humana; sin ella, el planificador generalizó peor que una variante entrenada sin datos humanos.
• Una pérdida KL sobre las distribuciones de características del codificador reduce la brecha visual entre humano y robot sin datos emparejados, con un solapamiento un 23 % mayor entre las distribuciones de características humanas y del robot en t-SNE.
• Usar los 10 minutos completos de juego humano en lugar de la mitad mejora la generalización a composiciones de subobjetivos no vistas.
• Los planes latentes preentrenados reducen la pérdida al pasar de entrenamiento de una sola tarea a multitarea en comparación con métodos de extremo a extremo como LMP y R3M-BC.

Resultados principales

• Cocina (Kitchen), horizonte largo, las tres tareas (Tabla 1): éxito de 0,47 con 20 demostraciones y de 0,70 con 40, frente a como máximo 0,07 y 0,17 para las líneas base y 0,23 / 0,40 para la variante sin datos humanos.
• Study Desk (Tabla 2, 20 demostraciones): 0,55 en tareas entrenadas y 0,47 en composiciones de tareas no vistas, frente a 0,00 para GC-BC (BC-trans) y LMP y 0,20 / 0,10 para la variante sin datos humanos.
• Multitarea con Flower, Whiteboard, Sandwich y Cloth (Tabla 3): 0,55 con un único modelo compartido frente a 0,58 con un modelo por tarea; LMP cae de 0,13 a 0,05 y R3M de 0,25 a 0,15.
• Sin la pérdida KL, el éxito en tareas entrenadas baja a 0,38 (un 17 % menos que 0,55); sin el GMM, es de 0,28 en tareas entrenadas y de 0,07 en tareas no vistas.
• En la simulación LIBERO, donde solo hay datos de juego del robot, la variante jerárquica sin datos humanos alcanza 0,29–0,67 en tareas de horizonte largo mientras que las líneas base GC-BC obtienen 0,00 (5 semillas, 100 ensayos).
• El sistema completo funciona a 17 Hz, lo bastante rápido para replanificar tras perturbaciones humanas como desplegar una toalla doblada; la Sección 4 indica una frecuencia de control de 20 Hz y el apéndice da 17–20 Hz.

Limitaciones

• Los planes latentes se aprenden a partir de datos de juego humano específicos de cada escena; entrenar con datos a escala de Internet podría mejorar la escalabilidad (según los autores).
• Las tareas se limitan a entornos sobre mesa; no se cubre la manipulación móvil (según los autores).
• El aprendizaje de representaciones entre corporizaciones tiene margen de mejora, por ejemplo con aprendizaje contrastivo temporal o de consistencia cíclica (según los autores).
• En el entrenamiento multitarea, el éxito en la pizarra (whiteboard) bajó de 0,5 a 0,2, lo que los autores atribuyen a que las demostraciones más cortas de la pizarra desequilibran el conjunto de datos.
• El seguimiento 3D de la mano necesita una configuración calibrada de dos cámaras, y el componente de juego humano no pudo probarse en simulación.

Impacto en el campo

Finalista del premio al mejor artículo de sistemas de CoRL 2023 (Best Systems Paper Award) e incluido en la lista combinada de finalistas Best Paper / Best Student Paper de CoRL 2023, con 415 citas. El código de la implementación se publica en github.com/j96w/MimicPlay, con vídeos en la página del proyecto.

Resumen

El aprendizaje por imitación a partir de demostraciones humanas es un paradigma prometedor para enseñar a los robots habilidades de manipulación en el mundo real. Sin embargo, aprender tareas complejas de horizonte largo suele requerir una cantidad inalcanzable de demostraciones. Para reducir la elevada necesidad de datos, recurrimos a datos de juego humano: secuencias de vídeo de personas que interactúan libremente con el entorno usando sus manos. Incluso con morfologías distintas, planteamos la hipótesis de que los datos de juego humano contienen información rica y destacada sobre las interacciones físicas que puede facilitar fácilmente el aprendizaje de políticas del robot. Motivados por ello, presentamos un marco de aprendizaje jerárquico llamado MimicPlay que aprende planes latentes a partir de datos de juego humano para guiar un control visuomotor de bajo nivel entrenado con un pequeño número de demostraciones teleoperadas. Con evaluaciones sistemáticas de 14 tareas de manipulación de horizonte largo en el mundo real, mostramos que MimicPlay supera a los métodos de aprendizaje por imitación del estado del arte en tasa de éxito de la tarea, capacidad de generalización y robustez frente a perturbaciones. El código y los vídeos están disponibles en mimic-play.github.io.

Enlaces

• arXiv 2302.12422: https://arxiv.org/abs/2302.12422
• DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
• PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
• Código: https://github.com/j96w/MimicPlay
• Página del proyecto: https://mimic-play.github.io/