ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Autores: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Modela el movimiento de las dos manos como una articulación helicoidal (screw joint) de 1 DoF, la extrae de un vídeo RGB-D de una persona y la refina en un Tiago++ mediante búsqueda en el espacio helicoidal; 16 de 18 ensayos tienen éxito en seis tareas.

Por qué importa

El método necesita un vídeo RGB-D por tarea y ningún equipo de teleoperación, captura de movimiento ni simulador. Restringir la exploración a un eje helicoidal (screw axis) convirtió en éxitos, en un máximo de 25 episodios con el robot real, tres tareas que fallaban con exploración de puntos de paso de 6-DoF.

Problema

La manipulación bimanual exige dos brazos sincronizados en el espacio y en el tiempo, lo que da un espacio de acciones grande en el que la exploración aleatoria en hardware real no es práctica. Los vídeos de personas son una fuente barata de demostraciones, pero el seguimiento de manos es ruidoso y los cuerpos humanos y robóticos difieren, así que los movimientos reproducidos fallan y deben refinarse, lo que vuelve a traer el gran espacio de búsqueda.

Solución propuesta

Siguiendo trabajos de biomecánica que modelan las dos manos como una cadena cinemática en serie, ScrewMimic define una acción helicoidal: puntos de agarre para cada mano, un eje helicoidal (screw axis) de 1 DoF (prismático, de revolución o de revolución con orientación fija) para el movimiento de la mano derecha respecto a la izquierda y una trayectoria opcional de la mano izquierda. La extrae de un vídeo RGB-D usando un detector de manos y objetos y FrankMocap, entrena modelos PointNet con nubes de puntos aumentadas geométricamente para predecirla con nuevas poses del objeto y refina las predicciones fallidas con el método de entropía cruzada en el espacio del eje helicoidal, usando una recompensa autogenerada a partir de la duración del episodio y las lecturas de fuerza-par de la muñeca. Las acciones exitosas se añaden de nuevo para volver a entrenar el predictor.

Ideas clave

• Muchas tareas a dos manos, con una articulación física (botella, portátil, rollo) o sin ella (remover, cortar, cerrar una cremallera), pueden describirse mediante una única articulación helicoidal virtual de 1 DoF entre las manos.
• Proyectar las trayectorias ruidosas del seguimiento de manos sobre un eje helicoidal limpia la demostración antes de que el robot la use.
• Explorar sobre los parámetros del eje helicoidal en lugar de sobre puntos de paso N×6-DoF hace viable el ajuste fino con el robot real en 25 episodios.
• Ambos términos de la recompensa son necesarios: sin la detección de pérdida de agarre o la clasificación por llave (wrench) media, la apertura de la botella y el removido fallaron.
• Las acciones ajustadas con éxito pueden volver a entrenar el predictor, que entonces tiene éxito casi zero-shot con el mismo objeto y se adapta a nuevas instancias de la categoría.

Resultados principales

• Nuevas poses del objeto (tabla I): abrir botella 2/3, cerrar cremallera 3/3, insertar rollo 3/3, cerrar portátil 3/3, remover 2/3, cortar 3/3, es decir, 16 de 18 ensayos, que el artículo presenta como un 90 % de éxito global.
• Los ensayos exitosos necesitaron de 7 a 18 episodios de media (de 1 a 3 épocas de 5 episodios), con un límite de 25 episodios; el ajuste fino lleva unos 40 minutos.
• Ablación del espacio de acciones (tabla III): la exploración en el espacio helicoidal tuvo éxito con la botella, el rollo y el portátil tras 16, 7 y 11 de 25 episodios; la exploración FM + N×6-DoF (estilo DEFT) y Screw + N×6-DoF fallaron en las tres en 25 episodios, con una compleción de la tarea del 0–50 %.
• Reentrenamiento con la acción corregida (tabla II): con el mismo objeto, abrir botella pasó de 3 épocas/16 episodios a 0/1 e insertar rollo de 1/7 a 0/2; con una botella nueva, el modelo reentrenado necesitó 2/14, y tras otra ronda 0/1.
• Con el mayor ruido añadido (σ = 3,0 cm, 12,5°), el eje extraído se desviaba 2,1 cm y 13,1°, y el ajuste fino aun así tuvo éxito tras 4 épocas y 21 episodios.
• Un PointNet preentrenado en ModelNet-40 redujo el error del eje en botellas no vistas (p. ej., de 0,09 m, 6° a 0,03 m, 4,2°), mientras que el error en la botella de entrenamiento se mantuvo igual.

Limitaciones

• Un solo eje helicoidal no se ajusta a tareas en las que las manos se mueven a lo largo de más de un eje, como cortar en zigzag.
• Se entrena un modelo de predicción distinto para cada clase de objeto, lo que limita la generalización.
• El éxito de cada episodio se registra manualmente, y una persona restablece la escena cuando hace falta.
• Solo se ajusta el eje helicoidal, no los puntos de contacto del agarre; las superficies reflectantes, como el portátil, tuvieron que cubrirse porque el sensor de profundidad no podía verlas desde todos los ángulos.
• Con un máximo de 25 episodios por ensayo, los resultados dependen de las primeras muestras de acciones helicoidales; los dos ensayos fallidos terminaron sin encontrar una acción exitosa.

Impacto en el campo

Finalista del RSS 2024 Outstanding Student Paper Award, con 44 citas. La página oficial del proyecto enlaza el código en github.com/UT-Austin-RobIn/ScrewMimic.

Resumen

La manipulación bimanual es un reto clásico de la robótica debido al gran número de grados de libertad y a la estricta sincronización espacial y temporal necesaria para generar un comportamiento significativo. Los humanos aprenden habilidades de manipulación bimanual observando a otros humanos y perfeccionando sus capacidades mediante el juego. En este trabajo pretendemos que los robots aprendan comportamientos de manipulación bimanual a partir de demostraciones en vídeo de personas y los ajusten mediante la interacción. Inspirándonos en trabajos fundamentales de psicología y biomecánica, proponemos modelar la interacción entre las dos manos como una cadena cinemática en serie y, en particular, como un movimiento helicoidal (screw motion), que usamos para definir un nuevo espacio de acciones para la manipulación bimanual: las acciones helicoidales (screw actions). Presentamos ScrewMimic, un marco que aprovecha esta nueva representación de acciones para facilitar el aprendizaje a partir de demostraciones humanas y el ajuste fino autosupervisado de la política. Nuestros experimentos demuestran que ScrewMimic es capaz de aprender varios comportamientos bimanuales complejos a partir de una sola demostración humana en vídeo y que supera a los métodos de referencia que interpretan las demostraciones y realizan el ajuste fino directamente en el espacio de movimiento original de ambos brazos. Para más información y resultados en vídeo, https://robin-lab.cs.utexas.edu/ScrewMimic/

Enlaces

• arXiv 2405.03666: https://arxiv.org/abs/2405.03666
• DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
• PDF: https://arxiv.org/pdf/2405.03666v1
• Código: https://github.com/UT-Austin-RobIn/ScrewMimic
• Página del proyecto: https://robin-lab.cs.utexas.edu/ScrewMimic/