Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Autoren: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein mit JEPA trainierter Encoder bringt piezoresistive, magnetische und visuotaktile Sensoren in einen gemeinsamen Fingerspitzenraum; eingefroren hebt er vier Policies auf 26 realen Aufgaben um 13,9–24,8 Punkte und funktioniert auf einem ungesehenen Sensor.

Warum es wichtig ist

Der Encoder bleibt eingefroren, und seine Tokens werden einer bestehenden Policy hinzugefügt (0,13–0,16 % mehr Parameter für die drei getesteten VLAs), sodass sich Tastsinn zu Diffusion Policy oder einem VLA hinzufügen lässt, ohne den Encoder neu zu trainieren. Er übertrug sich ohne Parameteraktualisierungen auf XHand1, eine magnetische Hand, die im Vortraining nicht vorkam.

Problem

Kommerzielle taktile Sensoren (piezoresistiv, magnetisch, visuotaktil) haben jeweils eigene Kanäle, eigenes Layout, eigene Auflösung und Abtastrate, sodass Daten des einen kein Modell für einen anderen trainieren können. Es gibt weder einen großen gebündelten taktilen Korpus noch eine gemeinsame Repräsentation, und die meisten Roboter manipulieren immer noch allein mit Sehen.

Lösungsansatz

LingBot-Touch legt die Taxel jedes Sensors in einen kanonischen Koordinatenraum der Fingerspitze mit fünfdimensionalen Token-Adressen (Zeit, Finger, 3D-Position), die mit Rotary Embeddings kodiert werden, nutzt kleine MLP-Tokenizer pro Modalität und einen gemeinsamen Haptic Transformer und trainiert ihn mit Tactile-JEPA, das die Repräsentationen maskierter Taxel im latenten Raum vorhersagt, mit einer räumlichen Maske von 80 %, einem Hochfahren der Maske von 40 % auf 80 % und Layout-Augmentierung. Vortrainiert wird es auf 4.983 Stunden (464.431 Episoden, etwa 1,33 Milliarden Frames) von menschlichen taktilen Handschuhen und einem teleoperierten zweiarmigen Roboter mit Sharpa-Wave-Händen.

Wichtigste Erkenntnisse

Rohe taktile Eingaben helfen Policies höchstens etwa halb so viel wie die gelernten Tokens und schaden in 22 von 104 Aufgabe-Policy-Paaren.
Latente Vorhersage skaliert mit den Daten, Rekonstruktion dagegen nicht: Ein VAE wurde von 1K auf 4K Stunden schlechter (Fehler des Kontaktzentrums 3,03 → 4,08 mm), während LingBot-Touch sich bei allen fünf Probes verbesserte.
Kraft und Dynamik übertragen sich über Messprinzipien hinweg, räumliche Präzision hängt aber vom Layout des jeweiligen Sensors ab: Bei einem festen Budget von 1.000 Stunden gewinnt ein Modell aus einer einzigen Quelle in 7 von 8 Paaren auf seinem eigenen Sensor.
Die Maskierung muss zu spärlichen Signalen passen: Eine Maske von 80 % schlug 90 %, und das schrittweise Hochfahren des Anteils ab 40 % vermied explodierende Gradienten.
Das Tiny-Modell (5,46M) sättigt bei etwa 4K Stunden, während Small (21,76M) sich bis 5K weiter verbessert, sodass die Kapazität mit dem Korpus wachsen muss.

Hauptergebnisse

26 reale zweiarmige Aufgaben mit je 20 Durchgängen: Diffusion Policy 21,6 % → 35,6 %, π0.5 48,1 % → 69,9 %, LingBot-VLA 48,3 % → 73,1 %, T-Rex 45,4 % → 68,6 % mit LingBot-Touch-Tokens.
Auf XHand1 (Sensor im Vortraining nicht gesehen) bringen die Tokens über die vier Policies 13,8–24,5 Punkte, während rohe Signale den Erfolg um −1,7 bis +4,6 Punkte verändern.
Probing mit eingefrorenem Encoder auf Sharpa Wave: Kraftfehler 0,81 N, Fehler des Kontaktzentrums 0,12 mm, Top-5-Recall von Tastsinn zu Video 72,6 %, gegenüber 2,31 N, 2,19 mm und 16,5 % für FTP-1.
Auf dem ungesehenen XHand1: 1,32 N, 0,16 mm und 47,1 % Recall, gegenüber 3,72 N, 5,89 mm und 6,0 % für FTP-1 mit einem sensorspezifischen Adapter.
PPO in der Simulation über 12 Aufgaben: 69,0 % Erfolg mit LingBot-Touch-Merkmalen gegenüber 45,6 % (aufgabenspezifisch trainiertes CNN), 38,5 % (roh), 30,3 % (binärer Kontakt) und 21,4 % (ohne Tastsinn).
LingBot-VLA auf fünf Sharpa-Wave-Aufgaben: 55,9 % ohne Tastsinn, 67,5 % mit dem FTP-1-Encoder, 82,2 % mit LingBot-Touch.

Einschränkungen

Die Autoren geben an, dass Experimente in der realen Welt und in der Simulation eine größere Vielfalt an Handverkörperungen brauchen.
Die Autoren merken an, dass kapazitive Sensoren im Vortraining fehlen, weil die verfügbaren kapazitiven Aufnahmen ihre Qualitätsanforderungen nicht erfüllten.
Die Autoren merken an, dass die kanonische Geometrie und die Layouts des Vortrainings nur Fingerspitzen abdecken, sodass Kontakte an Handfläche und Fingerkörper unterrepräsentiert sind.
Das Bündeln von Sensoren kostet etwas räumliche Präzision im Vergleich zu einem Modell aus einer einzigen Quelle bei gleicher Stundenzahl.
Die Tokens liegen in 9 von 104 Aufgabe-Policy-Paaren unter der Konfiguration mit Rohsignalen und in 5 unter der ursprünglichen Policy.

Wirkung auf das Fachgebiet

Bei Hugging Face Daily Papers erhielt die Arbeit 98 Upvotes und lag damit unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Laut der Arbeit sollen Inferenzcode, ein kleiner Satz beispielhafter taktiler Aufnahmen sowie Tiny- und Small-Checkpoints, vortrainiert auf etwa 5.000 Stunden, veröffentlicht werden, und sie nennt ein GitHub-Repository und eine Checkpoint-Sammlung auf Hugging Face.

Zusammenfassung

Taktile Wahrnehmung ist eine unverzichtbare Modalität für kontaktreiche geschickte Manipulation, eine Fähigkeit, die auf die äußersten Grenzen verkörperter Intelligenz verweist. Kommerziell erhältliche taktile Sensoren befinden sich jedoch noch in einem relativ frühen Entwicklungsstadium, wobei jeder Sensortyp unersetzliche Stärken neben eigenen Nachteilen bietet. Eine zentrale Herausforderung besteht daher darin, das taktile Verständnis von sensorspezifischer Physik zu lösen, damit verkörperte Modelle heterogene taktile Daten wirksam nutzen können. Zu diesem Zweck entwickeln wir LingBot-Touch, ein taktiles Foundation Model mit den folgenden Eigenschaften. (i) Unser Modell liefert eine einheitliche Repräsentation über verschiedene taktile Sensoren hinweg (d. h. piezoresistive, magnetische und visuotaktile Sensoren) und lässt sich leicht auf neue Sensortypen erweitern. (ii) Die resultierenden taktilen Tokens sind Plug-and-Play: Sie lassen sich nahtlos in Policy-Modelle verschiedener Paradigmen integrieren, von Diffusion Policy bis zu Vision-Language-Action-Modellen (VLA) wie π0.5 und LingBot-VLA, und verbessern durchweg die Geschicklichkeit der Manipulation. (iii) Umfangreiche Experimente, die Simulation und Einsätze auf realen Robotern über mehrere Hardwareplattformen hinweg umfassen, zeigen, dass unsere taktile Repräsentation komplexe Manipulationsaufgaben erheblich voranbringt und dabei eine hohe Recheneffizienz beibehält. Wir sind überzeugt, dass die Ergebnisse dieser Arbeit das Potenzial zeigen, sensorübergreifende Daten zur Skalierung des taktilen Lernens zu nutzen, und ermutigende Einsichten für das Design künftiger Hardware und verkörperter Modelle bieten.

Open Source Robotics