Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations

Autori: Siddhant Haldar, Jyothish Pari, Anant Rai, Lerrel Pinto · RSS 2023

Licenze

• Open access
• Articolo: CC0 1.0 Universal

Tutto ciò che segue si basa sull'articolo completo, che gli autori hanno rilasciato sotto CC0 1.0 Universal; la figura è riportata citando gli autori.

In breve

FISH aggiunge un residuo appreso a una policy di base fissa ad anello aperto o a vicino più prossimo, ricompensato dalla corrispondenza tramite trasporto ottimo con 1–3 dimostrazioni, e si adatta a posizioni degli oggetti mai viste in ≤20 minuti.

Perché è importante

L'unico input del compito è meno di un minuto di dimostrazioni: nessuna stima dello stato, nessuna ricompensa costruita a mano e nessun grande insieme di dimostrazioni, con un addestramento online limitato a 20 minuti. Poiché si apprende solo il residuo, l'esplorazione può essere limitata a dimensioni d'azione scelte, il che, come mostrano gli autori, ha evitato le collisioni tra le dita e le pose non sicure osservate quando ROT esplorava tutte le dimensioni sulla Allegro Hand.

Problema

Le policy di imitazione visiva richiedono molte dimostrazioni per coprire variazioni come la posizione dell'oggetto; l'articolo cita MIME con 400 dimostrazioni per compito e robomimic con 200. Adattare una policy offline con RL online può ridurre questo numero, ma l'RL richiede una ricompensa, e le ricompense specifiche per compito sono difficili da costruire quando gli stati degli oggetti non possono essere stimati.

Soluzione proposta

FISH opera in due fasi. Prima, una policy di base non parametrica debole (riproduzione ad anello aperto o recupero a vicino più prossimo con VINN) viene adattata a circa un minuto di dimostrazioni (1–3 traiettorie). Poi, una policy residua addestrata con DDPG a n passi aggiunge offset correttivi all'azione di base, ricompensata da una corrispondenza di trasporto ottimo di Sinkhorn tra le osservazioni della telecamera del robot e la dimostrazione, calcolata con un encoder congelato preso dal behaviour cloning.

Idee chiave

• Mantenere fissa la policy di base e apprendere solo offset residui ha battuto il fine-tuning online di una policy BC (ROT) in ogni compito della Tabella I.
• Le policy di base non parametriche (VINN, anello aperto) hanno funzionato meglio della BC parametrica in questo regime con pochi dati; la BC ha dato risultati scarsi sullo spazio d'azione a 16 dimensioni della Allegro Hand.
• Gli encoder addestrati con behaviour cloning sulle poche dimostrazioni del dominio hanno dato risultati migliori degli encoder ImageNet, R3M o MVP preaddestrati su grandi dati fuori dominio.
• Congelare l'encoder (così che le ricompense OT restino stazionarie) e condizionare il residuo all'azione di base sono entrambi necessari; eliminare l'uno o l'altro ha ridotto il successo (Tabella V).
• Limitare l'esplorazione residua ad assi d'azione scelti ha migliorato l'efficienza campionaria, mentre regolarizzare in modo adattivo gli offset verso zero ha peggiorato le prestazioni.

Risultati principali

• Tasso di successo medio del 93 % su 9 compiti reali con 3 robot, circa 3,8× superiore ai metodi precedenti (abstract); l'introduzione formula lo stesso dato come un 'miglioramento del 93 % nel tasso di successo' con 20 minuti di interazione online.
• Tabella I: 1,0 in apertura della porta, apertura del cassetto e azionamento dell'interruttore della luce (Stretch, 5 prove ciascuno) e nel ribaltamento di un cubo e nella rotazione di un tappo di bottiglia (Allegro Hand); 0,8 nella presa di una banconota da un dollaro, 0,9 in piolo nella tazza e nel ribaltamento di un bagel, 0,8 nell'inserimento della chiave (10 prove ciascuno).
• La migliore baseline su un singolo compito della Tabella I raggiunge al massimo 0,6 (ROT su interruttore della luce e inserimento della chiave); in apertura della porta, apertura del cassetto, ribaltamento del cubo e rotazione del tappo nessuna baseline supera 0,2.
• Senza regolarizzazione adattiva degli offset, il successo è stato di 0,9 nel ribaltamento del bagel e di 0,8 nella presa della banconota, contro 0,4 e 0,4 con essa (Tabella II).
• Sostituire l'encoder BC con encoder preaddestrati ha fatto scendere il ribaltamento del bagel da 0,9 a 0,0 (ImageNet), 0,0 (R3M) e 0,3 (MVP), e la presa della banconota da 0,8 a 0,0, 0,1 e 0,0 (Tabella IV).
• Con oggetti nuovi dopo 5 minuti di apprendimento online, il successo è variato da 0,9 a 0,0 per i pani e da 0,8 a 0,0 per banconote e carte; una focaccia morbida e un portafoglio spesso hanno fallito completamente (Fig. 8).

Limiti

• Le ricompense OT allineano il robot alle dimostrazioni, quindi il metodo presuppone che chi dimostra sia un esperto (secondo gli autori).
• Gli input solo visivi rendono difficili i compiti di precisione con segnali visivi deboli, come trovare una serratura che occupa una parte minuscola dell'immagine; gli autori suggeriscono il rilevamento tattile (secondo gli autori).
• La policy residua è inizializzata in modo casuale; gli autori osservano che preaddestrarla potrebbe aiutare nei compiti più difficili che richiedono un controllo più preciso (secondo gli autori).
• Il successo cala man mano che gli oggetti differiscono da quello dimostrato, fino al fallimento completo con una focaccia e un portafoglio.
• Ogni compito è valutato su 10 posizioni dell'oggetto (xArm, Allegro Hand) o 5 inizializzazioni del robot (Stretch).

Impatto sul settore

Vincitore del premio per il miglior articolo studentesco di RSS 2023 (Best Student Paper Award), con 113 citazioni. Gli autori rilasciano codice e video del robot tramite fast-imitation.github.io, e la pagina del progetto rimanda al repository del codice.

Abstract

Sebbene l'apprendimento per imitazione ci fornisca un insieme di strumenti efficiente per addestrare i robot, apprendere abilità robuste alle variazioni dell'ambiente resta una sfida significativa. Gli approcci attuali affrontano questa sfida basandosi su grandi quantità di dimostrazioni che coprono le variazioni dell'ambiente oppure su funzioni di ricompensa progettate a mano che richiedono stime dello stato. Nessuna delle due strade è scalabile verso un'imitazione rapida. In questo lavoro presentiamo Fast Imitation of Skills from Humans (FISH), un nuovo approccio di apprendimento per imitazione in grado di apprendere abilità visive robuste con meno di un minuto di dimostrazioni umane. Data una policy di base debole addestrata con imitazione offline delle dimostrazioni, FISH calcola ricompense che corrispondono alla "corrispondenza" tra il comportamento del robot e le dimostrazioni. Queste ricompense vengono poi usate per aggiornare in modo adattivo una policy residua che si somma alla policy di base. In tutti i compiti, FISH richiede al massimo venti minuti di apprendimento interattivo per imitare le dimostrazioni su configurazioni degli oggetti non viste nelle dimostrazioni. Soprattutto, FISH è costruito per essere versatile, il che consente di usarlo con diverse morfologie di robot (ad es. xArm, Allegro, Stretch) e configurazioni della telecamera (ad es. in terza persona, eye-in-hand). Le nostre valutazioni sperimentali su 9 compiti diversi mostrano che FISH raggiunge un tasso di successo medio del 93 %, circa 3,8× superiore ai precedenti metodi allo stato dell'arte.

Link

• arXiv 2303.01497: https://arxiv.org/abs/2303.01497
• DOI 10.48550/arXiv.2303.01497: https://doi.org/10.48550/arXiv.2303.01497
• PDF: https://arxiv.org/pdf/2303.01497v1
• Codice: https://github.com/siddhanthaldar/FISH
• Pagina del progetto: https://fast-imitation.github.io/