Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Autori: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un encoder addestrato con JEPA porta sensori piezoresistivi, magnetici e visuotattili in un unico spazio del polpastrello; congelato, migliora quattro policy di 13,9–24,8 punti su 26 compiti reali e funziona su un sensore non visto.

Perché è importante

L'encoder resta congelato e i suoi token vengono aggiunti a una policy esistente (0,13–0,16% di parametri in più per i tre VLA testati), quindi il tatto può essere aggiunto alla Diffusion Policy o a un VLA senza riaddestrare l'encoder. Si è trasferito a XHand1, una mano magnetica assente dal preaddestramento, senza alcun aggiornamento dei parametri.

Problema

I sensori tattili commerciali (piezoresistivi, magnetici, visuotattili) hanno ciascuno i propri canali, disposizione, risoluzione e frequenza di campionamento, per cui i dati di uno non possono addestrare un modello per un altro. Non esiste un grande corpus tattile comune né una rappresentazione condivisa, e la maggior parte dei robot manipola ancora con la sola visione.

Soluzione proposta

LingBot-Touch colloca i taxel di ogni sensore in uno spazio di coordinate canonico del polpastrello con indirizzi di token a cinque dimensioni (tempo, dito, posizione 3D) codificati da embedding rotazionali, usa piccoli tokenizzatori MLP per modalità e un Haptic Transformer condiviso, e lo addestra con Tactile-JEPA, che predice nello spazio latente le rappresentazioni dei taxel mascherati con una maschera spaziale all'80%, un riscaldamento della maschera dal 40% all'80% e un'augmentation della disposizione. È preaddestrato su 4.983 ore (464.431 episodi, circa 1,33 miliardi di fotogrammi) provenienti da guanti tattili indossati da persone e da un robot teleoperato a due bracci con mani Sharpa Wave.

Idee chiave

• L'input tattile grezzo aiuta le policy al massimo circa la metà dei token appresi e peggiora i risultati in 22 coppie compito-policy su 104.
• La predizione latente scala con i dati mentre la ricostruzione no: un VAE è peggiorato da 1K a 4K ore (errore sul centro di contatto 3,03 → 4,08 mm), mentre LingBot-Touch è migliorato su tutte e cinque le sonde.
• Forza e dinamica si trasferiscono tra principi di rilevamento diversi, ma la precisione spaziale dipende dalla disposizione propria di ciascun sensore: con un budget fisso di 1.000 ore un modello a sorgente singola vince sul proprio sensore in 7 coppie su 8.
• Il mascheramento deve adattarsi a segnali sparsi: una maschera all'80% ha battuto una al 90%, e aumentare gradualmente il rapporto a partire dal 40% ha evitato esplosioni del gradiente.
• Il modello Tiny (5,46M) si satura vicino a 4K ore mentre Small (21,76M) continua a migliorare fino a 5K, quindi la capacità deve crescere con il corpus.

Risultati principali

• 26 compiti reali a due bracci, 20 prove ciascuno: Diffusion Policy 21,6% → 35,6%, π0.5 48,1% → 69,9%, LingBot-VLA 48,3% → 73,1%, T-Rex 45,4% → 68,6% con i token di LingBot-Touch.
• Su XHand1 (sensore non visto nel preaddestramento), i token aggiungono 13,8–24,5 punti nelle quattro policy, mentre i segnali grezzi cambiano il successo tra −1,7 e +4,6 punti.
• Sondaggio con encoder congelato su Sharpa Wave: errore di forza 0,81 N, errore sul centro di contatto 0,12 mm, recall top-5 da tatto a video 72,6%, contro 2,31 N, 2,19 mm e 16,5% per FTP-1.
• Su XHand1 non visto: 1,32 N, 0,16 mm e recall del 47,1%, contro 3,72 N, 5,89 mm e 6,0% per FTP-1 con un adattatore specifico per il sensore.
• PPO in simulazione su 12 compiti: 69,0% di successo con le caratteristiche di LingBot-Touch contro 45,6% (CNN addestrata sul compito), 38,5% (grezzo), 30,3% (contatto binario) e 21,4% (senza tatto).
• LingBot-VLA su cinque compiti con Sharpa Wave: 55,9% senza tatto, 67,5% con l'encoder FTP-1, 82,2% con LingBot-Touch.

Limiti

• Gli autori affermano che gli esperimenti nel mondo reale e in simulazione richiedono una maggiore varietà di embodiment di mano.
• Gli autori osservano che i sensori capacitivi sono assenti dal preaddestramento perché le registrazioni capacitive disponibili non soddisfacevano i loro requisiti di qualità.
• Gli autori osservano che la geometria canonica e le disposizioni del preaddestramento coprono solo i polpastrelli, lasciando sottorappresentati i contatti del palmo e del corpo delle dita.
• Mettere insieme i sensori costa un po' di precisione spaziale rispetto a un modello a sorgente singola a parità di ore.
• I token scendono sotto la configurazione con segnale grezzo in 9 coppie compito-policy su 104 e sotto la policy originale in 5.

Impatto sul settore

Su Hugging Face daily papers ha ricevuto 98 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. L'articolo dichiara che verranno rilasciati il codice di inferenza, un piccolo insieme di registrazioni tattili di esempio e checkpoint Tiny e Small preaddestrati su circa 5.000 ore, e indica un repository GitHub e una collezione di checkpoint su Hugging Face.

Abstract

La percezione tattile è una modalità indispensabile per la manipolazione fine ricca di contatti, una capacità che lascia intravedere le frontiere ultime dell'intelligenza incarnata. Tuttavia, i sensori tattili disponibili in commercio sono ancora in una fase di sviluppo relativamente iniziale, e ogni tipo di sensore offre punti di forza insostituibili accanto ai propri svantaggi. Una sfida chiave è quindi svincolare la comprensione tattile dalla fisica specifica dei sensori, così che i modelli incarnati possano sfruttare efficacemente dati tattili eterogenei. A tal fine sviluppiamo LingBot-Touch, un foundation model tattile caratterizzato dalle seguenti proprietà. (i) Il nostro modello produce una rappresentazione unificata tra sensori tattili diversi (cioè sensori piezoresistivi, magnetici e visuotattili) ed è facilmente estendibile a nuovi tipi di sensore. (ii) I token tattili risultanti sono plug-and-play: possono essere integrati senza difficoltà in modelli di policy di paradigmi diversi, dalla Diffusion Policy ai modelli vision-language-action (VLA) come π0.5 e LingBot-VLA, migliorando costantemente la destrezza di manipolazione. (iii) Ampi esperimenti, che spaziano dalla simulazione al dispiegamento su robot reali su più piattaforme hardware, dimostrano che la nostra rappresentazione tattile giova in modo sostanziale ai compiti di manipolazione complessi mantenendo un'elevata efficienza computazionale. Riteniamo che i risultati di questo lavoro dimostrino il potenziale dello sfruttamento di dati provenienti da sensori diversi per scalare l'apprendimento tattile e offrano spunti incoraggianti per la progettazione di hardware e modelli incarnati futuri.

Link

• arXiv 2611.12806: https://arxiv.org/abs/2611.12806
• PDF: https://arxiv.org/pdf/2611.12806v1
• Codice: https://github.com/robbyant/lingbot-touch
• Pagina del progetto: https://technology.robbyant.com/lingbot-touch