Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

Autores: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Los micrófonos de contacto piezoeléctricos convierten el tacto en audio, de modo que un codificador preentrenado con vídeo de AudioSet se transfiere a la manipulación y supera a las políticas solo de visión y a las de audio entrenadas desde cero en tres tareas reales.

Por qué importa

Los micrófonos de contacto son baratos en comparación con los sensores táctiles habituales y registran vibraciones a 32–48 kHz, frente a 30–400 Hz de los sensores táctiles ópticos y magnéticos. Como su señal es audio, un equipo puede reutilizar modelos audiovisuales existentes a escala de internet en lugar de recopilar grandes conjuntos de datos táctiles, lo que importa cuando solo se dispone de unas pocas decenas de demostraciones.

Problema

El preentrenamiento a gran escala es habitual para las representaciones visuales en el aprendizaje robótico, pero las modalidades táctiles y otras no visuales se siguen entrenando desde cero porque no hay datos a escala de internet para ellas. En el régimen de pocos datos habitual en robótica, con decenas de demostraciones por tarea, esto deja infrautilizada la detección táctil.

Solución propuesta

Cuatro micrófonos de contacto piezoeléctricos en una pinza Franka registran como audio las vibraciones de contacto, tanto en la pinza como a través de herramientas sujetas, como una cuchara o una espátula. El codificador de audio se inicializa a partir de AVID, un modelo audiovisual autosupervisado preentrenado con AudioSet, y el codificador de imagen a partir de R3M (ResNet18 preentrenada con Ego4D); ambos permanecen sin congelar y se fusionan mediante un bloque de autoatención en una política de clonación de comportamiento que predice una secuencia corta de acciones delta 6-D del efector final.

Ideas clave

• El audio de contacto de un robot se parece lo bastante al audio de internet como para que el preentrenamiento audiovisual con AudioSet se transfiera pese a la diferencia de dominio.
• Lo que cuenta es la escala de los datos de preentrenamiento: BYOL-A preentrenado solo con audio de contacto del propio dominio rindió de forma comparable a un codificador de audio inicializado aleatoriamente (mejor en dar la vuelta, peor en recoger con cuchara y en cerrar cremalleras).
• Las características de audio preentrenadas redujeron el sobreajuste a los detalles visuales: al dar la vuelta, el éxito de la política solo de visión cayó alrededor de un 60 % de las configuraciones de entrenamiento a las de prueba, y el de la política audiovisual alrededor de un 20 %.
• La fusión por autoatención es necesaria pero no suficiente: sustituir el transformador por un MLP redujo el éxito y la recompensa casi un 50 % al recoger con cuchara, hasta el nivel de la línea base entrenada desde cero.
• Congelar el codificador de audio AVID preentrenado durante el aprendizaje de la política solo redujo ligeramente el rendimiento.

Resultados principales

• Dar la vuelta (40 demostraciones): 50,0 % de éxito, frente a 25,0 % de BYOL-A, 15,4 % de un codificador de audio entrenado desde cero y 0,0 % de la política solo de visión.
• Recoger con cuchara (60 demostraciones): 78,1 % de éxito, frente a 50,0 % desde cero, 28,1 % solo visión y 25,0 % BYOL-A.
• Cerrar cremalleras (50 demostraciones): 88,9 % de éxito, frente a 72,2 % desde cero, 66,7 % BYOL-A y 44,4 % solo visión.
• De media, un éxito 0-1 un 23 % mayor y una recompensa un 76 % mayor que la siguiente mejor línea base; supera o iguala a todas las líneas base en 8 de 9 configuraciones de tarea.
• Al recoger con cuchara, el éxito aumentó de forma constante de 30 a 60 y a 90 demostraciones, aproximadamente al mismo ritmo que la línea base solo de visión.
• La política tiene alrededor de 20M parámetros y se entrena en 1–1,5 horas en una sola GPU RTX 3080 Ti.

Limitaciones

• Los autores señalan que los micrófonos de contacto pueden ser menos útiles en tareas menos dinámicas, como coger y colocar.
• También pueden ser menos útiles cuando el propio robot genera vibraciones significativas.
• Puede que no ayuden con objetos deformables que no emiten vibraciones perceptibles al contacto.
• La evaluación abarca tres tareas en un solo brazo robótico con como máximo 60 demostraciones por tarea (90 en la ablación de escalado).

Impacto en el campo

Finalista del ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation, con 31 citas. El artículo remite a una página del proyecto con vídeos de los experimentos con el robot real; no enlaza código.

Resumen

Aunque el preentrenamiento con una gran cantidad de datos es beneficioso para el aprendizaje robótico, los paradigmas actuales solo realizan preentrenamiento a gran escala para las representaciones visuales, mientras que las representaciones de otras modalidades se entrenan desde cero. A diferencia de la abundancia de datos visuales, no está claro qué datos relevantes a escala de internet podrían usarse para preentrenar otras modalidades, como la detección táctil. Este preentrenamiento resulta cada vez más crucial en los regímenes de pocos datos habituales en las aplicaciones robóticas. En este artículo abordamos esta carencia usando micrófonos de contacto como sensor táctil alternativo. Nuestra idea clave es que los micrófonos de contacto capturan información intrínsecamente basada en audio, lo que nos permite aprovechar el preentrenamiento audiovisual a gran escala para obtener representaciones que mejoran el rendimiento de la manipulación robótica. Hasta donde sabemos, nuestro método es el primer enfoque que aprovecha el preentrenamiento multisensorial a gran escala para la manipulación robótica. Para información complementaria, incluidos vídeos de experimentos con robots reales, consulte https://sites.google.com/view/hearing-touch.

Enlaces

• arXiv 2405.08576: https://arxiv.org/abs/2405.08576
• DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
• PDF: https://arxiv.org/pdf/2405.08576v1
• Página del proyecto: https://sites.google.com/view/hearing-touch