PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

Autores: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

PolyTouch reúne tacto basado en cámara, un micrófono de contacto y visión periférica en un único dedo duradero; las Diffusion Policy táctiles que lo usan superan a las políticas visuo-propioceptivas en cuatro tareas bimanuales.

Por qué importa

Un dedo táctil que sobrevive a un uso prolongado con mucho contacto y que puede construirse sin equipos de moldeo hace práctico recoger datos táctiles en robots a la escala que necesitan las políticas aprendidas. Las cuatro tareas de prueba eran tareas bimanuales corrientes, no elegidas para la detección táctil, y los fallos relacionados con la fuerza observados sin tacto, como presionar demasiado una llave inglesa o demasiado poco una espátula, no se produjeron con entrada táctil.

Problema

Las políticas que dependen solo de la visión externa y de la propiocepción tienen dificultades con las oclusiones, los objetos desordenados o difíciles de ver y las tareas que requieren una regulación precisa de la fuerza de contacto. Los sensores táctiles basados en cámara ofrecen una alta resolución espacial, pero suelen funcionar por debajo de 100 Hz, se desgastan por abrasión, desgarro y deslaminación, requieren equipos especializados para su fabricación y se vuelven voluminosos a medida que aumenta el área de detección.

Solución propuesta

PolyTouch es un dedo robótico que combina una superficie táctil basada en cámara (una cámara IMX708 que observa el elastómero a través de un espejo curvo, iluminado por LED azules de 450 nm y pintura fluorescente), un micrófono de contacto piezoeléctrico de 48 kHz y visión periférica a través de dos ventanas laterales, todo transmitido por un único cable HDMI reutilizado hasta una Raspberry Pi. El elastómero por defecto es cinta 3M VHB transparente frotada con escamas de aluminio y cubierta con cinta 3M Soft & Stretch, en un cartucho que se desliza hacia fuera para sustituirlo; una opción de silicona usa caucho XP-565. La Diffusion Policy táctil codifica las imágenes táctiles y periféricas con un codificador T3 preentrenado, las imágenes de la muñeca y de la escena con CLIP, el audio con un Audio Spectrogram Transformer y la propiocepción con un MLP, las fusiona con atención cruzada y predice las acciones con una Diffusion Policy U-Net.

Ideas clave

• Usar cinta adhesiva VHB como elastómero elimina casi por completo el problema de deslaminación de los geles de silicona, y una persona sin experiencia tarda menos de 5 minutos en fabricar un elastómero VHB.
• La fuerza excesiva o insuficiente (presionar demasiado al insertar una llave inglesa, no presionar lo suficiente la espátula al recoger) solo se produjo con la política de visión y propiocepción, nunca con ninguna de las políticas que incluyen tacto.
• Los agarres imprecisos se observaron 11 veces con la política visuo-proprio frente a 3 de media con las políticas que incluyen tacto; los autores lo atribuyen a la vista periférica de cerca durante el agarre.
• Más modalidades pueden necesitar más datos: la ganancia sobre la política visuo-proprio se redujo cuando la política de servir huevos se entrenó con 1/3 o 2/3 de los datos, lo que los autores relacionan con el mayor tamaño del modelo.

Resultados principales

• Durabilidad con uso de herramienta emulado (agarre de 10 a 30 N sobre el mango de una espátula, frotamiento 6D aleatorio continuo): PolyTouch-VHB funcionó 35 h sin fallos ni pérdida de calidad de imagen; dos geles estándar de GelSight Mini duraron 1,0 h (desgarro del gel) y 3,3 h (pérdida de pintura); un gel XP-565 a medida en un GelSight Mini duró 25,0 h. El resumen y la introducción lo describen como un aumento de la vida útil de al menos 20 veces respecto a los sensores comerciales.
• Coste estimado de unos 61 USD por dedo, construido sobre todo con materiales comerciales sin equipos especializados.
• Serve Egg con todos los datos: progreso medio de la tarea 81 % (visuo-proprio), 88 % (multi-concate), 100 % (multi-crossatn); éxito medio de la tarea 66 %, 73 % y 100 %.
• Éxito medio de la tarea en las demás tareas (visuo-proprio / multi-concate / multi-crossatn): Insert Wrench 0 % / 20 % / 18 %, Sort Fruit 33 % / 46 % / 46 %, Crack Egg 50 % / 53 % / 54 %.
• La clasificación de moras frente a arándanos tuvo éxito el 80 % de las veces con las políticas que incluyen tacto, frente al 20 % con la política visuo-proprio.
• Ganancia de progreso en Serve Egg de multi-crossatn sobre visuo-proprio: 19 % con todos los datos, 3 % con 2/3 y 7 % con 1/3; ganancia de éxito del 34 % con todos los datos y del 20 % con 2/3.

Limitaciones

• La cinta VHB de espuma acrílica viscoelástica se recupera lentamente tras el contacto, y esta histéresis puede provocar una respuesta más lenta o ambigüedad en tareas dinámicas; los autores sugieren imágenes de diferencia temporal, contrastar con la vista periférica o un material menos viscoso (limitación señalada).
• Las políticas multimodales parecieron necesitar más datos para mostrar todo su beneficio, posiblemente por el mayor tamaño del modelo (según los autores).
• Los conjuntos de entrenamiento son pequeños, de unas 70 a 200 demostraciones por tarea, y el artículo no indica en cuántas ejecuciones de evaluación se basa cada entrada de las tablas.
• La comparación de vida útil usa una única configuración de uso de herramienta emulado y una única familia de sensores comerciales (GelSight Mini).
• El elastómero de silicona responde más rápido que el VHB, pero necesita el mismo proceso de fabricación que otros sensores de silicona.

Impacto en el campo

Ganó el IEEE ICRA 2025 Best Paper Award in Field and Service Robotics; 53 citas. El artículo da la lista de materiales del dedo, con un coste estimado de 61 USD por dedo, y sus pasos de fabricación, y remite a una página del proyecto; no enlaza código ni archivos de diseño.

Resumen

Lograr una manipulación diestra robusta en entornos domésticos no estructurados sigue siendo un reto importante en robótica. Incluso con métodos de aprendizaje robótico del estado del arte, las estrategias de control ajenas al tacto (es decir, las que dependen solo de la visión externa y/o de la propiocepción) a menudo se quedan cortas debido a las oclusiones, la complejidad visual y la necesidad de un control preciso de la interacción por contacto. Para abordar estas limitaciones, presentamos PolyTouch, un novedoso dedo robótico que integra detección táctil basada en cámara, detección acústica y detección visual periférica en un único diseño compacto y duradero. PolyTouch proporciona retroalimentación táctil de alta resolución en múltiples escalas temporales, algo esencial para aprender de forma eficiente tareas de manipulación complejas. Los experimentos demuestran un aumento de la vida útil de al menos 20 veces respecto a los sensores táctiles comerciales, con un diseño fácil de fabricar y escalable. A continuación, usamos esta retroalimentación táctil multimodal junto con observaciones visuo-propioceptivas para sintetizar una Diffusion Policy táctil a partir de demostraciones humanas; la política de control consciente del contacto resultante supera significativamente a las políticas ajenas al tacto en múltiples políticas de manipulación conscientes del contacto. Este artículo pone de relieve cómo integrar eficazmente la detección de contacto multimodal puede acelerar el desarrollo de políticas de manipulación conscientes del contacto eficaces, allanando el camino hacia robots domésticos más fiables y versátiles. Puede encontrarse más información en https://polytouch.alanz.info/.

Enlaces

• arXiv 2504.19341: https://arxiv.org/abs/2504.19341
• DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
• PDF: https://arxiv.org/pdf/2504.19341v1
• Página del proyecto: https://polytouch.alanz.info/