Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

Autores: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

HOPMan predice máscaras futuras de mano y objeto a partir de una imagen de la escena y una imagen objetivo usando vídeo de la web, y después traduce ese plan en acciones de un Franka Panda, cubriendo 16 habilidades y 40 objetos de forma zero-shot.

Por qué importa

La mayor parte del conocimiento sobre cómo se mueven las manos y los objetos procede de vídeo pasivo de la web, por lo que los datos específicos del robot siguen siendo pocos: los autores recogieron 600 trayectorias emparejadas en unos 3 días. Una única política condicionada por objetivo se prueba con instancias de objetos no vistas, pares objeto-habilidad no vistos, categorías de objetos no vistas y habilidades no vistas, también sobre una base móvil en cocinas y oficinas sin modificar.

Problema

Recoger datos de interacción robótica para cada tarea, objeto y habilidad no escala, y los sistemas recientes de capacidades amplias necesitaron años de datos de robot y siguieron limitados en gran medida a coger, colocar y empujar. Los métodos que usan vídeo humano para representaciones visuales o affordances siguen necesitando muchas demostraciones con robot o entrenamiento en el despliegue, y otros aprenden una política distinta por tarea.

Solución propuesta

La política se factoriza en un modelo de difusión condicionado por objetivo, que predice siete fotogramas futuros de máscaras de mano y objeto a partir de una imagen actual y una imagen objetivo, entrenado con unos 150.000 clips de dos segundos de EPIC-KITCHENS y Ego4D, y una política de traducción basada en transformadores, que convierte las máscaras predichas y las observaciones actuales en acciones 8-D (7 posiciones articulares más apertura/cierre de la pinza). El modelo de traducción se entrena con unas 400 trayectorias emparejadas humano-robot en laboratorio y 200 en entornos no controlados, más unas 1000 trayectorias solo de robot en las que el robot se elimina mediante inpainting y se inserta una mano humana.

Ideas clave

• Las máscaras semánticas de la mano y del objeto manipulado forman un espacio de planes compacto que descarta los detalles de la escena irrelevantes para la tarea y puede aprenderse a partir de vídeo humano sin curar.
• Dividir la política en predicción del plan y traducción del plan a acciones permite que la parte que exige muchos datos aprenda de vídeo de la web, mientras que la parte específica del robot solo necesita pocos datos emparejados.
• Los pares alucinados (vídeos de robot en los que el brazo se sustituye mediante inpainting por una mano humana) mejoraron el modelo de traducción al añadirse a los datos emparejados reales, pese a ser imperfectos.
• El artículo propone una escala de generalización estructurada: leve (nuevas configuraciones de objetos y habilidades vistos), estándar (nuevas instancias, combinaciones objeto-habilidad no vistas) y fuerte (categorías de objetos no vistas, habilidades no vistas).

Resultados principales

• Tasas de éxito sobre mesa (%) de HOPMan en generalización leve / de instancia / de combinación no vista / de categoría no vista / de habilidad no vista: 68 / 58 / 50 / 40 / 25; la BC condicionada por objetivo obtuvo 43 / 20 / 13 / 0 / 0 y VRB 50 / 25 / 15 / 0 / 0.
• Tasas de éxito en entornos no controlados (%) de HOPMan: 60 / 40 / 40 / 30 / 25, frente a 45 / 10 / 10 / 0 / 0 de BC y 50 / 15 / 10 / 0 / 0 de la línea base MP basada en MimicPlay.
• H2R, entrenado solo con vídeo humano pasivo, obtuvo 20 / 20 / 15 / 15 / 15 sobre mesa y 15 / 10 / 15 / 15 / 10 en entornos no controlados; fue la única línea base por encima de cero en generalización fuerte.
• Modelo de traducción por sí solo, con máscaras reales de mano y objeto (%): datos emparejados más alucinados 85 / 65 / 60 / 60 / 25, solo emparejados 85 / 60 / 50 / 30 / 15, solo alucinados 30 / 25 / 25 / 20 / 0.
• La evaluación abarca unas 100 tareas construidas a partir de 16 habilidades y 40 tipos de objetos, con 2 o 3 instancias cada uno.

Limitaciones

• Los autores afirman que las tareas no vistas que se abordan siguen siendo de complejidad limitada, y dejan para trabajos futuros las tareas de horizonte largo que combinan varias habilidades.
• Prevén que el marco tenga dificultades con la manipulación diestra, ya que recuperar la articulación precisa de la mano y los dedos a partir de vídeo de la web sigue siendo un problema abierto.
• El éxito en generalización fuerte se queda entre el 25 y el 40 % sobre mesa y entre el 25 y el 30 % en entornos no controlados.
• El éxito se juzga inspeccionando manualmente lo cerca que está la configuración final del objeto de la imagen objetivo, y no se indica el número de intentos por configuración.

Impacto en el campo

Finalista del IEEE ICRA 2024 Best Paper Award in Robot Manipulation, con 82 citas. El artículo enlaza un sitio web del proyecto con vídeos del robot; no da un repositorio de código.

Resumen

Perseguimos el objetivo de desarrollar robots capaces de interactuar zero-shot con objetos genéricos no vistos mediante un repertorio diverso de habilidades de manipulación, y mostramos cómo los vídeos humanos pasivos pueden servir como una rica fuente de datos para aprender estos robots generalistas. A diferencia de los enfoques típicos de aprendizaje robótico, que aprenden directamente cómo debe actuar un robot a partir de datos de interacción, adoptamos un enfoque factorizado que puede aprovechar vídeos humanos a gran escala para aprender cómo realizaría un humano una tarea deseada (un «plan» humano), seguido de la «traducción» de este plan a la corporeización del robot. En concreto, aprendemos un «predictor de planes» humano que, dada una imagen actual de una escena y una imagen objetivo, predice las configuraciones futuras de la mano y del objeto. Lo combinamos con un módulo de «traducción» que aprende una política de manipulación robótica condicionada por el plan y que permite seguir planes humanos para tareas de manipulación genéricas de forma zero-shot, sin entrenamiento en el momento del despliegue. Es importante señalar que, mientras que el predictor de planes puede aprovechar vídeos humanos a gran escala para su aprendizaje, el módulo de traducción solo requiere una pequeña cantidad de datos del dominio y puede generalizar a tareas no vistas durante el entrenamiento. Mostramos que nuestro sistema aprendido puede ejecutar más de 16 habilidades de manipulación que generalizan a 40 objetos, abarcando 100 tareas del mundo real de manipulación sobre mesa y manipulación diversa en entornos no controlados. https://homangab.github.io/hopman/

Enlaces

• arXiv 2312.00775: https://arxiv.org/abs/2312.00775
• DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
• PDF: https://arxiv.org/pdf/2312.00775v1
• Página del proyecto: https://homangab.github.io/hopman/