DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Auteurs: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un exosquelette portable conçu pour chaque main et l'inpainting de la main robotique transforment des démonstrations faites à la main humaine en données d'entraînement pour la main robotique, avec 86 % de réussite moyenne sur quatre tâches réelles avec deux mains.

Pourquoi c'est important

Les démonstrations sont enregistrées sans robot présent, l'opérateur ressent le contact réel et l'exosquelette n'autorise que les mouvements que la main cible peut reproduire. Pour la tâche de cueillette de thé, cela a permis de collecter des démonstrations réussies 3,2 fois plus vite qu'en téléopération, et la même approche a fonctionné sur une main sous-actionnée (Inspire) et sur une main entièrement actionnée (XHand).

Problème

Transférer des compétences de la main humaine à des mains robotiques est difficile, car les deux diffèrent par leur structure cinématique, la forme des surfaces de contact, les informations tactiles disponibles et l'apparence visuelle, et parce que les mains robotiques commerciales varient fortement en degrés de liberté, en plages des moteurs et en actionnement. La téléopération, l'interface habituelle, souffre d'un décalage spatial des observations et ne fournit pas de retour haptique direct, tandis que le reciblage des bouts de doigts peine face aux différences morphologiques comme la flexibilité du pouce.

Solution proposée

DexUMI ajoute une couche matérielle et une couche logicielle. La couche matérielle est un exosquelette imprimé en 3D, conçu pour chaque main cible par une optimisation à deux niveaux qui fait correspondre l'espace de travail de ses bouts de doigts à celui de la main robotique tout en restant portable ; il enregistre les angles articulaires avec des codeurs résistifs, la pose du poignet avec un iPhone exécutant ARKit, des images avec une caméra grand angle de 150° placée sous le poignet, et le toucher avec les mêmes capteurs tactiles que la main robotique. La couche logicielle retire la main et l'exosquelette de la vidéo avec SAM2, remplit l'arrière-plan avec ProPainter et y incruste des séquences de la vraie main robotique rejouant les mêmes actions articulaires, en préservant les occultations ; une politique de diffusion dotée d'un encodeur d'images DINOv2 est entraînée sur le résultat.

Idées clés

• Faire correspondre l'espace de travail des bouts de doigts de l'exosquelette à la main robotique, plutôt qu'à la main humaine, rend les actions articulaires enregistrées directement exécutables ; l'optimisation recule l'articulation de pivot du pouce vers le poignet afin qu'elle n'entre pas en collision avec le pouce humain.
• Les actions relatives des doigts ont battu les actions absolues sur chaque tâche de la Table 1 ; les auteurs l'attribuent à une distribution d'actions plus simple et unimodale et à un comportement réactif où les actions delta continuent de s'accumuler jusqu'au contact.
• L'inpainting de la main robotique dans la vidéo est indispensable : sur la main Inspire, la réussite sur la boîte à œufs était de 0,90 avec inpainting, de 0,10 avec un masque vert sur la main et de 0,05 avec les images brutes de l'exosquelette.
• L'entrée tactile n'a aidé que lorsque les mesures étaient propres et la vision obstruée (prise de sel avec XHand : 0,75 avec le tactile contre 0,15 sans) ; avec des capteurs bruités ou qui dérivent, elle a réduit la réussite sur la plupart des autres tâches.
• Utiliser le même type de capteur tactile et la même pose de caméra au poignet sur l'exosquelette et sur la main robotique maintient des observations cohérentes entre la collecte de données et le déploiement.

Principaux résultats

• Taux de réussite moyen des tâches de 86 % sur quatre tâches réelles avec deux mains robotiques.
• Main Inspire, actions relatives des doigts avec tactile et inpainting (réussite cumulée par étape, 20 épisodes par tâche) : Cube 1,00, Egg Carton 0,85, Tea saisie de l'outil 1,00 et transfert de feuilles 0,85.
• XHand, même configuration : Tea saisie de l'outil 1,00 et transfert de feuilles 0,85 ; Kitchen bouton 0,95, poêle 0,95, sel 0,75.
• Les actions absolues des doigts avec tactile ont échoué à plusieurs étapes, par exemple Cube 0,10 sur la main Inspire et Kitchen sel 0,00 sur la XHand.
• Collecte de données par sessions de 15 minutes sur la cueillette de thé : 3,2 fois le débit de la téléopération, mais plus lent que la main humaine nue (la Fig. 7 montre 51, 36 et 11 démonstrations réussies).
• Données d'entraînement : 310 trajectoires pour Cube, 175 pour Egg Carton, 400 pour Tea (par main) et 370 plus 100 trajectoires du seul bouton pour Kitchen.

Limites

• La conception de l'exosquelette nécessite encore un réglage propre au matériel, notamment pour le confort de port, et seuls les espaces de travail des bouts de doigts sont mis en correspondance ; les autres géométries de contact comme la paume ne sont pas modélisées.
• Les capteurs tactiles n'étaient pas fiables : les capteurs résistifs ajoutés à la main Inspire étaient sensibles à leur mode de fixation, et les capteurs électromagnétiques de la XHand dérivaient après une forte pression, ce qui arrivait souvent car la main humaine applique plus de force que le robot.
• L'exosquelette en PLA-CF imprimé en 3D peut se déformer sous la force de la main sans que les codeurs l'enregistrent, et les utilisateurs peuvent ne pas réussir à tendre complètement certains doigts.
• La couche logicielle a toujours besoin de la vraie main robotique pour enregistrer les images de la main, ne reproduit pas entièrement l'éclairage, laisse certaines zones floues après inpainting et exige que la caméra soit fixée rigidement à la main.
• Les deux mains commerciales présentaient du jeu et du frottement, si bien que la régression codeur-moteur n'est précise que dans un sens (ouverture ou fermeture) ; la correspondance entre commande moteur et position du bout des doigts de la XHand se décale aussi avec le temps et après les redémarrages.

Impact sur le domaine

DexUMI a été finaliste d'un prix à CoRL 2025 (Best Paper / Best Student Paper) et compte 184 citations. L'article renvoie les lecteurs à son site web de projet, dex-umi.github.io ; le texte de l'article lui-même n'indique aucune publication du code ou de la conception matérielle.

Résumé

Nous présentons DexUMI, un cadre de collecte de données et d'apprentissage de politiques qui utilise la main humaine comme interface naturelle pour transférer des compétences de manipulation dextre à diverses mains robotiques. DexUMI comprend des adaptations matérielles et logicielles visant à réduire au minimum l'écart d'incarnation entre la main humaine et diverses mains robotiques. L'adaptation matérielle comble l'écart cinématique à l'aide d'un exosquelette de main portable. Elle permet un retour haptique direct lors de la collecte de données de manipulation et adapte le mouvement humain à des mouvements réalisables par la main robotique. L'adaptation logicielle comble l'écart visuel en remplaçant la main humaine dans les données vidéo par un inpainting haute fidélité de la main robotique. Nous démontrons les capacités de DexUMI au moyen d'expériences réelles approfondies sur deux plateformes matérielles différentes de mains robotiques dextres, avec un taux de réussite moyen des tâches de 86 %.

Liens

• arXiv 2505.21864: https://arxiv.org/abs/2505.21864
• DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
• Page du projet: https://dex-umi.github.io/