Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Autores: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un codificador entrenado con JEPA sitúa sensores piezorresistivos, magnéticos y visuotáctiles en un mismo espacio de yema del dedo; congelado, mejora cuatro políticas en 13,9–24,8 puntos en 26 tareas reales y funciona en un sensor no visto.

Por qué importa

El codificador permanece congelado y sus tokens se añaden a una política existente (un 0,13–0,16 % más de parámetros en los tres VLA probados), de modo que el tacto puede añadirse a Diffusion Policy o a un VLA sin reentrenar el codificador. Se transfirió a XHand1, una mano magnética ausente del preentrenamiento, sin ninguna actualización de parámetros.

Problema

Los sensores táctiles comerciales (piezorresistivos, magnéticos, visuotáctiles) tienen cada uno sus propios canales, disposición, resolución y frecuencia de muestreo, por lo que los datos de uno no sirven para entrenar un modelo para otro. No existe un gran corpus táctil común ni una representación compartida, y la mayoría de los robots siguen manipulando solo con la visión.

Solución propuesta

LingBot-Touch sitúa los taxeles de cada sensor en un espacio de coordenadas canónico de la yema del dedo con direcciones de token de cinco dimensiones (tiempo, dedo, posición 3D) codificadas con embeddings rotatorios, usa pequeños tokenizadores MLP por modalidad y un Haptic Transformer compartido, y lo entrena con Tactile-JEPA, que predice en el espacio latente las representaciones de los taxeles enmascarados con una máscara espacial del 80 %, un calentamiento de la máscara del 40 % al 80 % y aumento de datos de la disposición. Se preentrena con 4983 horas (464 431 episodios, unos 1,33 mil millones de fotogramas) de guantes táctiles humanos y de un robot teleoperado de dos brazos con manos Sharpa Wave.

Ideas clave

• La entrada táctil en bruto ayuda a las políticas como mucho la mitad que los tokens aprendidos y perjudica en 22 de 104 pares tarea-política.
• La predicción latente escala con los datos y la reconstrucción no: un VAE empeoró de 1K a 4K horas (error del centro de contacto 3,03 → 4,08 mm), mientras que LingBot-Touch mejoró en las cinco sondas.
• La fuerza y la dinámica se transfieren entre principios de detección, pero la precisión espacial depende de la disposición propia de cada sensor: con un presupuesto fijo de 1000 horas, un modelo de una sola fuente gana en su propio sensor en 7 de 8 pares.
• El enmascaramiento debe adaptarse a señales dispersas: una máscara del 80 % superó a una del 90 %, y aumentar progresivamente la proporción desde el 40 % evitó explosiones de gradiente.
• El modelo Tiny (5,46M) se satura cerca de 4K horas, mientras que Small (21,76M) sigue mejorando hasta 5K, de modo que la capacidad tiene que crecer con el corpus.

Resultados principales

• 26 tareas reales de dos brazos, 20 ensayos cada una: Diffusion Policy 21,6 % → 35,6 %, π0.5 48,1 % → 69,9 %, LingBot-VLA 48,3 % → 73,1 %, T-Rex 45,4 % → 68,6 % con los tokens de LingBot-Touch.
• En XHand1 (sensor no visto en el preentrenamiento), los tokens añaden 13,8–24,5 puntos en las cuatro políticas, mientras que las señales en bruto cambian el éxito entre −1,7 y +4,6 puntos.
• Sondeo con el codificador congelado en Sharpa Wave: error de fuerza de 0,81 N, error del centro de contacto de 0,12 mm, recall top-5 de tacto a vídeo del 72,6 %, frente a 2,31 N, 2,19 mm y 16,5 % de FTP-1.
• En XHand1, no visto: 1,32 N, 0,16 mm y un recall del 47,1 %, frente a 3,72 N, 5,89 mm y 6,0 % de FTP-1 con un adaptador específico del sensor.
• PPO en simulación sobre 12 tareas: 69,0 % de éxito con las características de LingBot-Touch frente a 45,6 % (CNN entrenada en la tarea), 38,5 % (en bruto), 30,3 % (contacto binario) y 21,4 % (sin tacto).
• LingBot-VLA en cinco tareas con Sharpa Wave: 55,9 % sin tacto, 67,5 % con el codificador FTP-1, 82,2 % con LingBot-Touch.

Limitaciones

• Los autores afirman que los experimentos en el mundo real y en simulación necesitan una mayor variedad de encarnaciones de mano.
• Los autores señalan que los sensores capacitivos no están en el preentrenamiento porque las grabaciones capacitivas disponibles no cumplían sus requisitos de calidad.
• Los autores señalan que la geometría canónica y las disposiciones del preentrenamiento cubren solo las yemas de los dedos, por lo que los contactos de la palma y del cuerpo de los dedos quedan infrarrepresentados.
• Combinar sensores cuesta algo de precisión espacial en comparación con un modelo de una sola fuente con las mismas horas.
• Los tokens quedan por debajo de la configuración con señal en bruto en 9 de 104 pares tarea-política y por debajo de la política original en 5.

Impacto en el campo

En Hugging Face daily papers obtuvo 98 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El artículo afirma que se publicarán el código de inferencia, un pequeño conjunto de grabaciones táctiles de muestra y checkpoints Tiny y Small preentrenados con unas 5000 horas, y menciona un repositorio de GitHub y una colección de checkpoints en Hugging Face.

Resumen

La percepción táctil es una modalidad indispensable para la manipulación diestra rica en contacto, una capacidad que apunta a las fronteras últimas de la inteligencia encarnada. Sin embargo, los sensores táctiles disponibles comercialmente se encuentran todavía en una fase de desarrollo relativamente temprana, y cada tipo de sensor ofrece puntos fuertes insustituibles junto a sus propios inconvenientes. Un reto clave es, por tanto, liberar la comprensión táctil de la física específica de cada sensor, de modo que los modelos encarnados puedan aprovechar eficazmente datos táctiles heterogéneos. Con este fin, desarrollamos LingBot-Touch, un modelo fundacional táctil caracterizado por las siguientes propiedades. (i) Nuestro modelo produce una representación unificada entre distintos sensores táctiles (es decir, sensores piezorresistivos, magnéticos y visuotáctiles) y es fácilmente ampliable a nuevos tipos de sensores. (ii) Los tokens táctiles resultantes son plug-and-play: pueden integrarse sin fricciones en modelos de política de distintos paradigmas, desde Diffusion Policy hasta modelos de visión-lenguaje-acción (VLA) como π0.5 y LingBot-VLA, y mejoran de forma constante la destreza de manipulación. (iii) Amplios experimentos, que abarcan simulación y despliegues en robots reales en múltiples plataformas de hardware, demuestran que nuestra representación táctil beneficia sustancialmente a las tareas de manipulación complejas a la vez que mantiene una gran eficiencia computacional. Creemos que los hallazgos de este trabajo demuestran el potencial de aprovechar datos de distintos sensores para escalar el aprendizaje táctil y ofrecen ideas alentadoras para el diseño del hardware y de los modelos encarnados futuros.

Enlaces

• arXiv 2611.12806: https://arxiv.org/abs/2611.12806
• PDF: https://arxiv.org/pdf/2611.12806v1
• Código: https://github.com/robbyant/lingbot-touch
• Página del proyecto: https://technology.robbyant.com/lingbot-touch