ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Autori: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Modella il moto delle due mani come un giunto elicoidale (screw joint) a 1 DoF, lo estrae da un video RGB-D di una persona e lo affina su un Tiago++ tramite ricerca nello spazio elicoidale; 16 prove su 18 riescono in sei compiti.

Perché è importante

Il metodo richiede un video RGB-D per compito e nessuna postazione di teleoperazione, motion capture o simulatore. Limitare l'esplorazione a un asse elicoidale (screw axis) ha trasformato in successi, entro 25 episodi sul robot reale, tre compiti che fallivano con l'esplorazione di waypoint a 6-DoF.

Problema

La manipolazione bimanuale richiede due braccia sincronizzate nello spazio e nel tempo, il che dà un ampio spazio delle azioni in cui l'esplorazione casuale su hardware reale non è praticabile. I video di persone sono una fonte economica di dimostrazioni, ma il tracciamento delle mani è rumoroso e i corpi umani e robotici sono diversi, quindi i movimenti riprodotti falliscono e vanno affinati, il che riporta l'ampio spazio di ricerca.

Soluzione proposta

Seguendo lavori di biomeccanica che modellano le due mani come una catena cinematica seriale, ScrewMimic definisce un'azione elicoidale: punti di presa per ciascuna mano, un asse elicoidale (screw axis) a 1 DoF (prismatico, rotoidale o rotoidale con orientamento fisso) per il moto della mano destra rispetto alla sinistra e una traiettoria opzionale della mano sinistra. La estrae da un video RGB-D usando un rilevatore di mani e oggetti e FrankMocap, addestra modelli PointNet su nuvole di punti aumentate geometricamente per predirla per nuove pose dell'oggetto e affina le predizioni che falliscono con il metodo dell'entropia incrociata nello spazio dell'asse elicoidale, usando una ricompensa autogenerata dalla durata dell'episodio e dalle letture di forza-coppia al polso. Le azioni riuscite vengono reinserite per riaddestrare il predittore.

Idee chiave

• Molti compiti a due mani, con un giunto fisico (bottiglia, portatile, rotolo) o senza (mescolare, tagliare, chiudere una cerniera lampo), possono essere descritti da un unico giunto elicoidale virtuale a 1 DoF tra le mani.
• Proiettare su un asse elicoidale le traiettorie rumorose del tracciamento delle mani ripulisce la dimostrazione prima che il robot la usi.
• Esplorare sui parametri dell'asse elicoidale invece che su waypoint N×6-DoF rende fattibile il fine-tuning sul robot reale entro 25 episodi.
• Entrambi i termini della ricompensa sono necessari: senza il rilevamento della perdita di presa o l'ordinamento in base al wrench medio, l'apertura della bottiglia e il mescolamento sono falliti.
• Le azioni perfezionate con successo possono riaddestrare il predittore, che a quel punto riesce quasi zero-shot sullo stesso oggetto e si adatta a nuove istanze della categoria.

Risultati principali

• Nuove pose dell'oggetto (tabella I): aprire la bottiglia 2/3, chiudere la cerniera 3/3, inserire il rotolo 3/3, chiudere il portatile 3/3, mescolare 2/3, tagliare 3/3, cioè 16 prove su 18, che l'articolo riporta come 90 % di successo complessivo.
• Le prove riuscite hanno richiesto in media da 7 a 18 episodi (da 1 a 3 epoche di 5 episodi), con un limite di 25 episodi; il fine-tuning richiede circa 40 minuti.
• Ablazione dello spazio delle azioni (tabella III): l'esplorazione nello spazio elicoidale è riuscita su bottiglia, rotolo e portatile dopo 16, 7 e 11 episodi su 25; le esplorazioni FM + N×6-DoF (in stile DEFT) e Screw + N×6-DoF hanno fallito su tutti e tre entro 25 episodi, raggiungendo un completamento del compito dello 0–50 %.
• Riaddestramento sull'azione corretta (tabella II): sullo stesso oggetto, aprire la bottiglia è passato da 3 epoche/16 episodi a 0/1 e inserire il rotolo da 1/7 a 0/2; su una bottiglia nuova il modello riaddestrato ha richiesto 2/14, e dopo un ulteriore ciclo 0/1.
• Con il rumore aggiunto più alto (σ = 3,0 cm, 12,5°), l'asse estratto era sfasato di 2,1 cm e 13,1°, e il fine-tuning è comunque riuscito dopo 4 epoche e 21 episodi.
• Un PointNet preaddestrato su ModelNet-40 ha ridotto l'errore dell'asse su bottiglie mai viste (per es. da 0,09 m, 6° a 0,03 m, 4,2°), mentre l'errore sulla bottiglia di addestramento è rimasto invariato.

Limiti

• Un solo asse elicoidale non si adatta a compiti in cui le mani si muovono lungo più di un asse, come tagliare a zig-zag.
• Per ogni classe di oggetti viene addestrato un modello di predizione separato, il che limita la generalizzazione.
• Il successo di ogni episodio viene registrato manualmente, e una persona ripristina la scena quando necessario.
• Viene perfezionato solo l'asse elicoidale, non i punti di contatto della presa; le superfici riflettenti come il portatile hanno dovuto essere coperte perché il sensore di profondità non riusciva a vederle da tutte le angolazioni.
• Con al massimo 25 episodi per prova, i risultati dipendono dai primi campioni di azioni elicoidali; le due prove fallite si sono concluse senza trovare un'azione riuscita.

Impatto sul settore

Finalista del RSS 2024 Outstanding Student Paper Award, con 44 citazioni. La pagina ufficiale del progetto rimanda al codice su github.com/UT-Austin-RobIn/ScrewMimic.

Abstract

La manipolazione bimanuale è una sfida di lunga data della robotica a causa dell'elevato numero di gradi di libertà e della stretta sincronizzazione spaziale e temporale necessaria per generare un comportamento significativo. Gli esseri umani apprendono abilità di manipolazione bimanuale osservando altri esseri umani e affinando le proprie capacità attraverso il gioco. In questo lavoro miriamo a consentire ai robot di apprendere comportamenti di manipolazione bimanuale da dimostrazioni video umane e di perfezionarli attraverso l'interazione. Ispirandoci a lavori fondamentali di psicologia e biomeccanica, proponiamo di modellare l'interazione tra le due mani come una catena cinematica seriale e, in particolare, come un moto elicoidale (screw motion), che usiamo per definire un nuovo spazio delle azioni per la manipolazione bimanuale: le azioni elicoidali (screw actions). Presentiamo ScrewMimic, un framework che sfrutta questa nuova rappresentazione delle azioni per facilitare l'apprendimento da dimostrazioni umane e il fine-tuning auto-supervisionato della policy. I nostri esperimenti dimostrano che ScrewMimic è in grado di apprendere diversi comportamenti bimanuali complessi da una sola dimostrazione video umana e che supera le baseline che interpretano le dimostrazioni ed eseguono il fine-tuning direttamente nello spazio di moto originale di entrambe le braccia. Per maggiori informazioni e risultati video, https://robin-lab.cs.utexas.edu/ScrewMimic/

Link

• arXiv 2405.03666: https://arxiv.org/abs/2405.03666
• DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
• PDF: https://arxiv.org/pdf/2405.03666v1
• Codice: https://github.com/UT-Austin-RobIn/ScrewMimic
• Pagina del progetto: https://robin-lab.cs.utexas.edu/ScrewMimic/