Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Auteurs: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un encodeur entraîné par JEPA place des capteurs piézorésistifs, magnétiques et visuotactiles dans un même espace du bout des doigts ; figé, il améliore quatre politiques de 13,9 à 24,8 points sur 26 tâches réelles et fonctionne sur un capteur inédit.

Pourquoi c'est important

L'encodeur reste figé et ses tokens sont ajoutés à une politique existante (0,13–0,16 % de paramètres en plus pour les trois VLA testés) ; on peut donc ajouter le toucher à Diffusion Policy ou à un VLA sans réentraîner l'encodeur. Il s'est transféré à XHand1, une main magnétique absente du pré-entraînement, sans aucune mise à jour de paramètres.

Problème

Les capteurs tactiles du commerce (piézorésistifs, magnétiques, visuotactiles) ont chacun leurs propres canaux, disposition, résolution et fréquence d'échantillonnage ; les données de l'un ne peuvent donc pas entraîner un modèle pour un autre. Il n'existe ni grand corpus tactile mutualisé ni représentation partagée, et la plupart des robots manipulent encore par la seule vision.

Solution proposée

LingBot-Touch place les taxels de chaque capteur dans un espace de coordonnées canonique du bout du doigt, avec des adresses de tokens à cinq dimensions (temps, doigt, position 3D) encodées par des plongements rotatifs, utilise de petits tokeniseurs MLP par modalité et un Haptic Transformer partagé, et l'entraîne avec Tactile-JEPA, qui prédit dans l'espace latent les représentations des taxels masqués, avec un masque spatial de 80 %, une montée progressive du masque de 40 % à 80 % et une augmentation de disposition. Il est pré-entraîné sur 4 983 heures (464 431 épisodes, environ 1,33 milliard d'images) provenant de gants tactiles humains et d'un robot à deux bras téléopéré équipé de mains Sharpa Wave.

Idées clés

• L'entrée tactile brute aide les politiques au mieux environ deux fois moins que les tokens appris, et nuit dans 22 des 104 paires tâche-politique.
• La prédiction latente progresse avec les données alors que la reconstruction non : un VAE s'est dégradé de 1K à 4K heures (erreur du centre de contact 3,03 → 4,08 mm), tandis que LingBot-Touch s'améliorait sur les cinq sondes.
• La force et la dynamique se transfèrent d'un principe de mesure à l'autre, mais la précision spatiale dépend de la disposition propre au capteur : à budget fixe de 1 000 heures, un modèle à source unique l'emporte sur son propre capteur dans 7 paires sur 8.
• Le masquage doit convenir à des signaux épars : un masque de 80 % a battu 90 %, et augmenter progressivement le taux à partir de 40 % a évité les explosions de gradient.
• Le modèle Tiny (5,46M) plafonne vers 4K heures tandis que Small (21,76M) continue de progresser jusqu'à 5K ; la capacité doit donc croître avec le corpus.

Principaux résultats

• 26 tâches réelles à deux bras, 20 essais chacune : Diffusion Policy 21,6 % → 35,6 %, π0.5 48,1 % → 69,9 %, LingBot-VLA 48,3 % → 73,1 %, T-Rex 45,4 % → 68,6 % avec les tokens LingBot-Touch.
• Sur XHand1 (capteur absent du pré-entraînement), les tokens ajoutent 13,8–24,5 points sur les quatre politiques, tandis que les signaux bruts modifient la réussite de −1,7 à +4,6 points.
• Sondage avec encodeur figé sur Sharpa Wave : erreur de force 0,81 N, erreur du centre de contact 0,12 mm, rappel top-5 tactile-vers-vidéo de 72,6 %, contre 2,31 N, 2,19 mm et 16,5 % pour FTP-1.
• Sur XHand1 inédit : 1,32 N, 0,16 mm et 47,1 % de rappel, contre 3,72 N, 5,89 mm et 6,0 % pour FTP-1 avec un adaptateur propre au capteur.
• PPO en simulation sur 12 tâches : 69,0 % de réussite avec les caractéristiques LingBot-Touch contre 45,6 % (CNN entraîné sur la tâche), 38,5 % (brut), 30,3 % (contact binaire) et 21,4 % (sans toucher).
• LingBot-VLA sur cinq tâches Sharpa Wave : 55,9 % sans toucher, 67,5 % avec l'encodeur FTP-1, 82,2 % avec LingBot-Touch.

Limites

• Les auteurs indiquent que les expériences réelles et en simulation nécessitent une plus grande variété de corps de mains robotiques.
• Les auteurs notent que les capteurs capacitifs sont absents du pré-entraînement, car les enregistrements capacitifs disponibles ne répondaient pas à leurs exigences de qualité.
• Les auteurs notent que la géométrie canonique et les dispositions de pré-entraînement ne couvrent que le bout des doigts, ce qui sous-représente les contacts de la paume et du corps des doigts.
• La mutualisation des capteurs coûte un peu de précision spatiale par rapport à un modèle à source unique disposant du même nombre d'heures.
• Les tokens passent sous la configuration à signal brut dans 9 des 104 paires tâche-politique et sous la politique d'origine dans 5.

Impact sur le domaine

Sur Hugging Face Daily Papers, il a recueilli 98 votes positifs, se classant dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article indique que le code d'inférence, un petit ensemble d'enregistrements tactiles d'exemple et des points de contrôle Tiny et Small pré-entraînés sur environ 5 000 heures seront publiés, et mentionne un dépôt GitHub et une collection de points de contrôle sur Hugging Face.

Résumé

La perception tactile est une modalité indispensable à la manipulation dextre riche en contacts, une capacité qui laisse entrevoir les frontières ultimes de l'intelligence incarnée. Cependant, les capteurs tactiles disponibles dans le commerce en sont encore à un stade de développement relativement précoce, chaque type de capteur offrant des atouts irremplaçables à côté de ses propres inconvénients. Un défi clé consiste donc à affranchir la compréhension tactile de la physique propre à chaque capteur, afin que les modèles incarnés puissent exploiter efficacement des données tactiles hétérogènes. À cette fin, nous développons LingBot-Touch, un modèle fondamental tactile caractérisé par les propriétés suivantes. (i) Notre modèle produit une représentation unifiée entre différents capteurs tactiles (c'est-à-dire des capteurs piézorésistifs, magnétiques et visuotactiles) et s'étend facilement à de nouveaux types de capteurs. (ii) Les tokens tactiles obtenus sont plug-and-play : ils s'intègrent sans difficulté dans des modèles de politique de divers paradigmes, de Diffusion Policy aux modèles vision-langage-action (VLA) tels que π0.5 et LingBot-VLA, améliorant systématiquement la dextérité de manipulation. (iii) Des expériences approfondies, couvrant la simulation et des déploiements sur robots réels sur plusieurs plateformes matérielles, démontrent que notre représentation tactile profite nettement aux tâches de manipulation complexes tout en conservant une forte efficacité de calcul. Nous pensons que les résultats de ce travail démontrent le potentiel de l'exploitation de données inter-capteurs pour faire passer l'apprentissage tactile à l'échelle, et offrent des pistes encourageantes pour la conception des futurs matériels et modèles incarnés.

Liens

• arXiv 2611.12806: https://arxiv.org/abs/2611.12806
• PDF: https://arxiv.org/pdf/2611.12806v1
• Code: https://github.com/robbyant/lingbot-touch
• Page du projet: https://technology.robbyant.com/lingbot-touch