Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

Autores: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

Licencias

• Acceso abierto
• Artículo: CC0 1.0 Universal

Todo lo que sigue se basa en el artículo completo, que sus autores publicaron bajo CC0 1.0 Universal; su figura se muestra con crédito a los autores.

En resumen

FISH añade un residuo aprendido a una política base fija en lazo abierto o de vecino más cercano, recompensado por la correspondencia mediante transporte óptimo con 1–3 demostraciones, y se adapta a posiciones de objetos no vistas en ≤20 minutos.

Por qué importa

La única entrada de la tarea es menos de un minuto de demostraciones: sin estimación del estado, sin recompensa construida a mano y sin un gran conjunto de demostraciones, con un entrenamiento en línea limitado a 20 minutos. Como solo se aprende el residuo, la exploración puede limitarse a dimensiones de acción elegidas, lo que según muestran los autores evitó las colisiones de dedos y las poses peligrosas que se vieron cuando ROT exploraba todas las dimensiones en la Allegro Hand.

Problema

Las políticas de imitación visual necesitan muchas demostraciones para cubrir variaciones como la posición del objeto; el artículo cita MIME con 400 demostraciones por tarea y robomimic con 200. Adaptar una política fuera de línea con RL en línea puede reducir esa cifra, pero el RL necesita una recompensa, y las recompensas específicas de la tarea son difíciles de construir cuando no se pueden estimar los estados de los objetos.

Solución propuesta

FISH funciona en dos fases. Primero, se ajusta una política base no paramétrica débil (reproducción en lazo abierto o recuperación por vecino más cercano con VINN) a aproximadamente un minuto de demostraciones (1–3 trayectorias). Después, una política residual entrenada con DDPG de n pasos añade desplazamientos correctivos a la acción base, recompensada por una correspondencia de transporte óptimo de Sinkhorn entre las observaciones de la cámara del robot y la demostración, calculada con un codificador congelado procedente de la clonación de comportamiento.

Ideas clave

• Mantener fija la política base y aprender solo desplazamientos residuales superó al ajuste fino en línea de una política BC (ROT) en todas las tareas de la Tabla I.
• Las políticas base no paramétricas (VINN, lazo abierto) funcionaron mejor que la BC paramétrica en este régimen de pocos datos; BC rindió mal en el espacio de acción de 16 dimensiones de la Allegro Hand.
• Los codificadores entrenados por clonación de comportamiento con las pocas demostraciones del dominio dieron mejores resultados que los codificadores ImageNet, R3M o MVP preentrenados con grandes datos de fuera del dominio.
• Congelar el codificador (para que las recompensas OT se mantengan estacionarias) y condicionar el residuo a la acción base son ambos necesarios; quitar cualquiera de los dos redujo el éxito (Tabla V).
• Restringir la exploración residual a ejes de acción elegidos mejoró la eficiencia de muestras, mientras que regularizar de forma adaptativa los desplazamientos hacia cero perjudicó el rendimiento.

Resultados principales

• Tasa de éxito media del 93 % en 9 tareas del mundo real con 3 robots, aproximadamente 3,8× más alta que los métodos previos (resumen); la introducción formula la misma cifra como una 'mejora del 93 % en la tasa de éxito' con 20 minutos de interacción en línea.
• Tabla I: 1,0 en apertura de puerta, apertura de cajón y accionamiento de interruptor de luz (Stretch, 5 ensayos cada una) y en voltear un cubo y hacer girar un tapón de botella (Allegro Hand); 0,8 en coger un billete de dólar, 0,9 en clavija en taza y en voltear un bagel, 0,8 en inserción de llave (10 ensayos cada una).
• La mejor línea base en cualquier tarea individual de la Tabla I alcanza como máximo 0,6 (ROT en el interruptor de luz y en la inserción de llave); en apertura de puerta, apertura de cajón, voltear el cubo y hacer girar el tapón ninguna línea base supera 0,2.
• Sin regularización adaptativa de los desplazamientos, el éxito fue de 0,9 al voltear el bagel y de 0,8 al coger el billete, frente a 0,4 y 0,4 con ella (Tabla II).
• Sustituir el codificador BC por codificadores preentrenados hizo caer voltear el bagel de 0,9 a 0,0 (ImageNet), 0,0 (R3M) y 0,3 (MVP), y coger el billete de 0,8 a 0,0, 0,1 y 0,0 (Tabla IV).
• Con objetos nuevos tras 5 minutos de aprendizaje en línea, el éxito varió de 0,9 a 0,0 para los panes y de 0,8 a 0,0 para billetes y tarjetas; un pan plano blando y una cartera gruesa fallaron por completo (Fig. 8).

Limitaciones

• Las recompensas OT alinean al robot con las demostraciones, por lo que el método depende de que quien demuestra sea experto (según los autores).
• Las entradas solo visuales dificultan las tareas de precisión con señales visuales débiles, como encontrar una cerradura que ocupa una parte diminuta de la imagen; los autores sugieren la detección táctil (según los autores).
• La política residual se inicializa aleatoriamente; los autores señalan que preentrenarla podría ayudar en tareas más difíciles que requieren un control más preciso (según los autores).
• El éxito cae a medida que los objetos difieren más del demostrado, hasta el fallo completo con un pan plano y una cartera.
• Cada tarea se evalúa en 10 posiciones de objeto (xArm, Allegro Hand) o 5 inicializaciones del robot (Stretch).

Impacto en el campo

Ganador del premio al mejor artículo de estudiante de RSS 2023 (Best Student Paper Award), con 113 citas. Los autores publican código y vídeos del robot a través de fast-imitation.github.io, y la página del proyecto enlaza el repositorio de código.

Resumen

Aunque el aprendizaje por imitación nos ofrece un conjunto de herramientas eficiente para entrenar robots, aprender habilidades robustas a las variaciones del entorno sigue siendo un reto importante. Los enfoques actuales abordan este reto apoyándose en grandes cantidades de demostraciones que abarcan las variaciones del entorno o en funciones de recompensa diseñadas a mano que requieren estimaciones del estado. Ninguna de las dos vías escala a una imitación rápida. En este trabajo presentamos Fast Imitation of Skills from Humans (FISH), un nuevo enfoque de aprendizaje por imitación que puede aprender habilidades visuales robustas con menos de un minuto de demostraciones humanas. Dada una política base débil entrenada por imitación fuera de línea de las demostraciones, FISH calcula recompensas que corresponden a la "coincidencia" entre el comportamiento del robot y las demostraciones. Estas recompensas se usan después para actualizar de forma adaptativa una política residual que se suma a la política base. En todas las tareas, FISH requiere como máximo veinte minutos de aprendizaje interactivo para imitar las demostraciones en configuraciones de objetos que no se vieron en las demostraciones. Es importante destacar que FISH está construido para ser versátil, lo que permite usarlo con distintas morfologías de robot (p. ej., xArm, Allegro, Stretch) y configuraciones de cámara (p. ej., en tercera persona, en la mano). Nuestras evaluaciones experimentales en 9 tareas diferentes muestran que FISH logra una tasa de éxito media del 93 %, aproximadamente 3,8× más alta que los métodos previos del estado del arte.

Enlaces

• arXiv 2303.01497: https://arxiv.org/abs/2303.01497
• DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
• PDF: https://arxiv.org/pdf/2303.01497v1
• Código: https://github.com/siddhanthaldar/FISH
• Página del proyecto: https://fast-imitation.github.io/