DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Autori: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song · CoRL 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un esoscheletro indossabile specifico per ogni mano più l'inpainting della mano robotica trasformano le dimostrazioni con la mano umana in dati di addestramento per la mano robotica, con l'86 % di successo medio su quattro compiti reali con due mani.

Perché è importante

Le dimostrazioni vengono registrate senza che sia presente un robot, l'operatore sente il contatto reale e l'esoscheletro consente solo i movimenti che la mano di destinazione può riprodurre. Nel compito di raccolta del tè, ciò ha permesso di raccogliere dimostrazioni riuscite 3,2 volte più velocemente della teleoperazione, e lo stesso approccio ha funzionato su una mano sottoattuata (Inspire) e su una mano completamente attuata (XHand).

Problema

Trasferire abilità dalle mani umane a quelle robotiche è difficile perché le due differiscono per struttura cinematica, forma delle superfici di contatto, informazioni tattili disponibili e aspetto visivo, e perché le mani robotiche commerciali variano molto per gradi di libertà, escursioni dei motori e attuazione. La teleoperazione, l'interfaccia abituale, soffre di una discrepanza spaziale delle osservazioni e non fornisce un feedback aptico diretto, mentre il retargeting dei polpastrelli fatica con le differenze morfologiche come la flessibilità del pollice.

Soluzione proposta

DexUMI aggiunge uno strato hardware e uno strato software. Lo strato hardware è un esoscheletro stampato in 3D progettato per ogni mano di destinazione tramite un'ottimizzazione a due livelli che fa corrispondere la sua area di lavoro dei polpastrelli a quella della mano robotica mantenendolo indossabile; registra gli angoli dei giunti con encoder resistivi, la posa del polso con un iPhone che esegue ARKit, le immagini da una telecamera grandangolare a 150° sotto il polso e il tatto con gli stessi sensori tattili della mano robotica. Lo strato software rimuove la mano e l'esoscheletro dal video con SAM2, riempie lo sfondo con ProPainter e vi compone le riprese della vera mano robotica che riproduce le stesse azioni dei giunti, mantenendo intatte le occlusioni; sul risultato viene addestrata una diffusion policy con un encoder di immagini DINOv2.

Idee chiave

Far corrispondere l'area di lavoro dei polpastrelli dell'esoscheletro a quella della mano robotica, anziché a quella della mano umana, rende le azioni dei giunti registrate direttamente eseguibili; l'ottimizzazione sposta il giunto di rotazione del pollice indietro verso il polso in modo che non urti il pollice umano.
Le azioni relative delle dita battono quelle assolute in tutti i compiti della Tabella 1; gli autori lo attribuiscono a una distribuzione delle azioni più semplice e unimodale e a un comportamento reattivo in cui le azioni delta continuano ad accumularsi fino al contatto.
Inserire la mano robotica nel video con l'inpainting è essenziale: sulla mano Inspire, il successo con il portauova è stato di 0,90 con l'inpainting, 0,10 con una maschera verde sulla mano e 0,05 con le immagini grezze dell'esoscheletro.
L'input tattile ha aiutato solo dove le letture erano pulite e la visione era ostruita (prelievo del sale con XHand: 0,75 con il tatto contro 0,15 senza); con sensori rumorosi o soggetti a deriva ha ridotto il successo nella maggior parte degli altri compiti.
Usare lo stesso tipo di sensore tattile e la stessa posa della telecamera al polso sull'esoscheletro e sulla mano robotica mantiene coerenti le osservazioni tra raccolta dei dati e impiego.

Risultati principali

Tasso medio di successo nei compiti dell'86 % su quattro compiti nel mondo reale con due mani robotiche.
Mano Inspire, azioni relative delle dita con tatto e inpainting (successo cumulativo per fase, 20 episodi per compito): Cube 1,00, Egg Carton 0,85, Tea presa dello strumento 1,00 e trasferimento della foglia 0,85.
XHand, stessa configurazione: Tea presa dello strumento 1,00 e trasferimento della foglia 0,85; Kitchen manopola 0,95, padella 0,95, sale 0,75.
Le azioni assolute delle dita con il tatto sono fallite in diverse fasi, ad esempio Cube 0,10 sulla mano Inspire e Kitchen sale 0,00 sulla XHand.
Raccolta dati in sessioni di 15 minuti sulla raccolta del tè: 3,2 volte il rendimento della teleoperazione, anche se più lenta della sola mano umana (la Fig. 7 mostra 51, 36 e 11 dimostrazioni riuscite).
Dati di addestramento: 310 traiettorie per Cube, 175 per Egg Carton, 400 per Tea (per mano) e 370 più 100 traiettorie della sola manopola per Kitchen.

Limiti

Il design dell'esoscheletro richiede ancora una regolazione specifica per ogni hardware, soprattutto per l'indossabilità, e vengono fatte corrispondere solo le aree di lavoro dei polpastrelli; altre geometrie di contatto come il palmo non sono modellate.
I sensori tattili non erano affidabili: i sensori resistivi aggiunti alla mano Inspire erano sensibili al modo in cui venivano fissati, e i sensori elettromagnetici della XHand andavano in deriva dopo pressioni elevate, cosa frequente perché la mano umana applica più forza del robot.
L'esoscheletro stampato in 3D in PLA-CF può deformarsi sotto la forza della mano senza che gli encoder lo registrino, e gli utenti potrebbero non riuscire a distendere completamente alcune dita.
Lo strato software richiede ancora la vera mano robotica per registrare le immagini della mano, non riproduce completamente l'illuminazione, lascia sfocate alcune aree ricostruite con l'inpainting e richiede che la telecamera sia fissata rigidamente alla mano.
Entrambe le mani commerciali hanno mostrato gioco e attrito, quindi la regressione da encoder a motore è precisa in una sola direzione (apertura o chiusura); sulla XHand anche la corrispondenza tra comando del motore e posizione del polpastrello si sposta nel tempo e dopo i riavvii.

Impatto sul settore

DexUMI è stato finalista di un premio a CoRL 2025 (Best Paper / Best Student Paper) e ha 184 citazioni. L'articolo rimanda i lettori al sito web del progetto, dex-umi.github.io; il testo dell'articolo non indica di per sé un rilascio del codice o del design hardware.

Abstract

Presentiamo DexUMI, un framework di raccolta dati e apprendimento delle policy che usa la mano umana come interfaccia naturale per trasferire abilità di manipolazione fine a diverse mani robotiche. DexUMI include adattamenti hardware e software per ridurre al minimo il divario di embodiment tra la mano umana e diverse mani robotiche. L'adattamento hardware colma il divario cinematico tramite un esoscheletro della mano indossabile. Consente un feedback aptico diretto durante la raccolta dei dati di manipolazione e adatta il movimento umano a un movimento fattibile della mano robotica. L'adattamento software colma il divario visivo sostituendo la mano umana nei dati video con un inpainting ad alta fedeltà della mano robotica. Dimostriamo le capacità di DexUMI con esperimenti approfonditi nel mondo reale su due diverse piattaforme hardware di mani robotiche per la manipolazione fine, raggiungendo un tasso medio di successo nei compiti dell'86 %.

Link

arXiv 2505.21864: https://arxiv.org/abs/2505.21864
DOI 10.48550/arXiv.2505.21864: https://doi.org/10.48550/arXiv.2505.21864
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/xu25b/xu25b.pdf
Pagina del progetto: https://dex-umi.github.io/