DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Autoren: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein für jede Hand gefertigtes tragbares Exoskelett plus Inpainting der Roboterhand verwandelt Demonstrationen mit der menschlichen Hand in Trainingsdaten für die Roboterhand, mit 86 % durchschnittlichem Erfolg über vier reale Aufgaben auf zwei Händen.

Warum es wichtig ist

Demonstrationen werden ohne anwesenden Roboter aufgezeichnet, der Bediener spürt echten Kontakt, und das Exoskelett erlaubt nur Bewegungen, die die Zielhand reproduzieren kann. Bei der Aufgabe des Teepflückens sammelte dies erfolgreiche Demonstrationen 3,2-mal schneller als Teleoperation, und derselbe Ansatz funktionierte an einer unteraktuierten Hand (Inspire) und einer voll aktuierten Hand (XHand).

Problem

Fähigkeiten von menschlichen Händen auf Roboterhände zu übertragen, ist schwierig, weil sich beide in kinematischer Struktur, Form der Kontaktflächen, verfügbarer taktiler Information und visuellem Erscheinungsbild unterscheiden und weil kommerzielle Roboterhände sich in Freiheitsgraden, Motorbereichen und Aktuierung stark unterscheiden. Teleoperation, die übliche Schnittstelle, leidet unter einer räumlichen Beobachtungsdiskrepanz und bietet kein direktes haptisches Feedback, während Fingerspitzen-Retargeting mit morphologischen Unterschieden wie der Beweglichkeit des Daumens kämpft.

Lösungsansatz

DexUMI fügt eine Hardware- und eine Softwareschicht hinzu. Die Hardwareschicht ist ein 3D-gedrucktes Exoskelett, das für jede Zielhand durch eine zweistufige Optimierung entworfen wird, die seinen Fingerspitzen-Arbeitsraum an den der Roboterhand anpasst und es zugleich tragbar hält; es zeichnet Gelenkwinkel mit resistiven Encodern, die Handgelenkpose mit einem iPhone mit ARKit, Bilder mit einer 150°-Weitwinkelkamera unter dem Handgelenk und Berührungen mit denselben taktilen Sensoren wie die Roboterhand auf. Die Softwareschicht entfernt Hand und Exoskelett mit SAM2 aus dem Video, füllt den Hintergrund mit ProPainter und fügt Aufnahmen der realen Roboterhand ein, die dieselben Gelenkaktionen wiedergibt, wobei Verdeckungen erhalten bleiben; auf dem Ergebnis wird eine Diffusion Policy mit einem DINOv2-Bildencoder trainiert.

Wichtigste Erkenntnisse

Den Fingerspitzen-Arbeitsraum des Exoskeletts an die Roboterhand statt an die menschliche Hand anzupassen, macht aufgezeichnete Gelenkaktionen direkt ausführbar; die Optimierung verlegt das Schwenkgelenk des Daumens zurück zum Handgelenk, damit es nicht mit dem menschlichen Daumen kollidiert.
Relative Fingeraktionen schlugen absolute Fingeraktionen bei jeder Aufgabe in Table 1; die Autoren führen dies auf eine einfachere, unimodale Aktionsverteilung und auf reaktives Verhalten zurück, bei dem sich Delta-Aktionen bis zum Kontakt weiter aufaddieren.
Das Inpainting der Roboterhand ins Video ist unerlässlich: Auf der Inspire-Hand lag der Erfolg beim Eierkarton bei 0,90 mit Inpainting, 0,10 mit einer grünen Maske über der Hand und 0,05 mit rohen Exoskelettbildern.
Taktile Eingaben halfen nur dort, wo die Messwerte sauber und die Sicht verdeckt war (XHand Salzgreifen: 0,75 mit taktiler Eingabe vs. 0,15 ohne); bei verrauschten oder driftenden Sensoren senkten sie den Erfolg bei den meisten anderen Aufgaben.
Derselbe taktile Sensortyp und dieselbe Pose der Handgelenkkamera an Exoskelett und Roboterhand halten die Beobachtungen zwischen Datenerhebung und Einsatz konsistent.

Hauptergebnisse

Durchschnittliche Aufgabenerfolgsrate von 86 % über vier reale Aufgaben auf zwei Roboterhänden.
Inspire-Hand, relative Fingeraktionen mit taktiler Eingabe und Inpainting (stufenweise kumulierter Erfolg, 20 Episoden pro Aufgabe): Cube 1,00, Egg Carton 0,85, Tea Werkzeuggriff 1,00 und Blatttransfer 0,85.
XHand, gleiche Konfiguration: Tea Werkzeuggriff 1,00 und Blatttransfer 0,85; Kitchen Drehknopf 0,95, Pfanne 0,95, Salz 0,75.
Absolute Fingeraktionen mit taktiler Eingabe scheiterten in mehreren Stufen, zum Beispiel Cube 0,10 auf der Inspire-Hand und Kitchen Salz 0,00 auf der XHand.
Datenerhebung in 15-minütigen Sitzungen beim Teepflücken: 3,2-facher Durchsatz der Teleoperation, aber langsamer als die bloße menschliche Hand (Fig. 7 zeigt 51, 36 und 11 erfolgreiche Demonstrationen).
Trainingsdaten: 310 Trajektorien für Cube, 175 für Egg Carton, 400 für Tea (pro Hand) und 370 plus 100 reine Drehknopf-Trajektorien für Kitchen.

Einschränkungen

Das Exoskelett-Design erfordert weiterhin hardwarespezifische Abstimmung, besonders hinsichtlich der Tragbarkeit, und nur die Fingerspitzen-Arbeitsräume werden angeglichen; andere Kontaktgeometrie wie die Handfläche wird nicht modelliert.
Die taktilen Sensoren waren unzuverlässig: Die an der Inspire-Hand ergänzten resistiven Sensoren reagierten empfindlich darauf, wie sie befestigt waren, und die elektromagnetischen Sensoren der XHand drifteten nach hohem Druck, was oft vorkam, weil die menschliche Hand mehr Kraft aufbringt als der Roboter.
Das 3D-gedruckte Exoskelett aus PLA-CF kann sich unter der Handkraft verformen, ohne dass die Encoder es erfassen, und Nutzer können manche Finger möglicherweise nicht vollständig strecken.
Die Softwareschicht benötigt weiterhin die reale Roboterhand, um Handbilder aufzuzeichnen, reproduziert die Beleuchtung nicht vollständig, hinterlässt einige unscharfe Inpainting-Bereiche und erfordert, dass die Kamera starr an der Hand befestigt ist.
Beide kommerziellen Hände zeigten Spiel und Reibung, sodass die Encoder-zu-Motor-Regression nur in einer Richtung (Öffnen oder Schließen) präzise ist; bei der XHand verschiebt sich zudem die Zuordnung zwischen Motorkommando und Fingerspitzenposition mit der Zeit und nach Neustarts.

Wirkung auf das Fachgebiet

DexUMI war Finalist für einen CoRL 2025 Award (Best Paper / Best Student Paper) und hat 184 Zitierungen. Das Paper verweist Leser auf seine Projektwebsite dex-umi.github.io; der Text des Papers selbst nennt keine Veröffentlichung von Code oder Hardwaredesign.

Zusammenfassung

Wir stellen DexUMI vor, ein Framework für Datenerhebung und Policy-Lernen, das die menschliche Hand als natürliche Schnittstelle nutzt, um geschickte Manipulationsfähigkeiten auf verschiedene Roboterhände zu übertragen. DexUMI umfasst Hardware- und Softwareanpassungen, um die Embodiment-Lücke zwischen der menschlichen Hand und verschiedenen Roboterhänden zu minimieren. Die Hardwareanpassung überbrückt die kinematische Lücke mithilfe eines tragbaren Handexoskeletts. Sie ermöglicht direktes haptisches Feedback bei der Erhebung von Manipulationsdaten und passt menschliche Bewegungen an für die Roboterhand ausführbare Bewegungen an. Die Softwareanpassung überbrückt die visuelle Lücke, indem sie die menschliche Hand in Videodaten durch hochwertiges Inpainting der Roboterhand ersetzt. Wir demonstrieren die Fähigkeiten von DexUMI durch umfassende Experimente in der realen Welt auf zwei verschiedenen Hardwareplattformen geschickter Roboterhände und erreichen eine durchschnittliche Aufgabenerfolgsrate von 86 %.

Open Source Robotics