MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

Autori: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

MimicPlay apprende un pianificatore latente da 10 minuti di video di gioco con le mani umane e un controllore transformer guidato dal piano da poche dimostrazioni teleoperate, aumentando il successo a lungo orizzonte su un braccio Franka.

Perché è importante

I dati di gioco umano non richiedono robot, etichette dei compiti né reset dell'ambiente: una persona finisce in circa 5 secondi ciò che richiede 90 secondi di teleoperazione del robot, e 10 minuti di gioco equivalgono all'incirca a un dataset di teleoperazione di 3 ore. Poiché il movimento umano e le abilità del robot condividono un unico spazio di piani latenti, un video umano può anche essere usato direttamente come prompt di obiettivo per il robot.

Problema

L'apprendimento per imitazione si è finora limitato soprattutto a primitive a breve orizzonte perché le dimostrazioni a lungo orizzonte sono lente e laboriose da raccogliere. Apprendere da dati di gioco del robot aiuta, ma richiede comunque ore di teleoperazione, per esempio 4,5 ore per C-BeT e 6 ore per TACO-RL.

Soluzione proposta

MimicPlay divide l'apprendimento per fonte di dati. Un pianificatore latente condizionato all'obiettivo è addestrato su 10 minuti di video di gioco umano per scena per prevedere le future traiettorie 3D della mano, tracciate con due telecamere calibrate, tramite una testa a modello di miscela gaussiana (Gaussian Mixture Model), mentre una loss KL allinea le feature visive umane e del robot. Una policy transformer in stile GPT, addestrata su 20–40 dimostrazioni teleoperate per compito, mappa poi i piani latenti del pianificatore congelato, insieme agli input della telecamera al polso e propriocettivi, in comandi per l'end-effector e la pinza.

Idee chiave

I piani di alto livello possono essere appresi da dati di gioco umano economici, mentre il controllo di basso livello proviene da dimostrazioni teleoperate che non hanno divario di embodiment.
Serve una testa GMM per catturare le traiettorie multimodali della mano umana; senza di essa il pianificatore ha generalizzato peggio di una variante addestrata senza dati umani.
Una loss KL sulle distribuzioni delle feature dell'encoder riduce il divario visivo tra umano e robot senza dati accoppiati, con una sovrapposizione del 23 % maggiore tra le distribuzioni delle feature umane e del robot in t-SNE.
Usare tutti i 10 minuti di gioco umano anziché la metà migliora la generalizzazione a composizioni di sotto-obiettivi mai viste.
I piani latenti preaddestrati riducono la perdita di prestazioni nel passaggio dall'addestramento a singolo compito a quello multi-compito rispetto a metodi end-to-end come LMP e R3M-BC.

Risultati principali

Cucina (Kitchen), lungo orizzonte, tutti e tre i compiti (Tabella 1): successo di 0,47 con 20 dimostrazioni e di 0,70 con 40, contro al massimo 0,07 e 0,17 per le baseline e 0,23 / 0,40 per la variante senza dati umani.
Study Desk (Tabella 2, 20 dimostrazioni): 0,55 sui compiti addestrati e 0,47 su composizioni di compiti mai viste, contro 0,00 per GC-BC (BC-trans) e LMP e 0,20 / 0,10 per la variante senza dati umani.
Multi-compito su Flower, Whiteboard, Sandwich e Cloth (Tabella 3): 0,55 con un unico modello condiviso contro 0,58 con un modello per compito; LMP scende da 0,13 a 0,05 e R3M da 0,25 a 0,15.
Senza la loss KL, il successo sui compiti addestrati scende a 0,38 (17 % in meno rispetto a 0,55); senza il GMM è 0,28 sui compiti addestrati e 0,07 su quelli mai visti.
Nella simulazione LIBERO, dove sono disponibili solo dati di gioco del robot, la variante gerarchica senza dati umani raggiunge 0,29–0,67 sui compiti a lungo orizzonte mentre le baseline GC-BC ottengono 0,00 (5 seed, 100 prove).
L'intero sistema gira a 17 Hz, abbastanza veloce da ripianificare dopo disturbi umani come lo spiegamento di un asciugamano piegato; la Sezione 4 indica una frequenza di controllo di 20 Hz e l'appendice riporta 17–20 Hz.

Limiti

I piani latenti sono appresi da dati di gioco umano specifici della scena; l'addestramento su dati su scala Internet potrebbe migliorare la scalabilità (secondo gli autori).
I compiti sono limitati a contesti su tavolo; la manipolazione mobile non è trattata (secondo gli autori).
L'apprendimento di rappresentazioni tra embodiment diversi ha margini di miglioramento, per esempio con apprendimento contrastivo temporale o di consistenza ciclica (secondo gli autori).
Nell'addestramento multi-compito il successo sulla lavagna (whiteboard) è sceso da 0,5 a 0,2, cosa che gli autori attribuiscono alle dimostrazioni più brevi della lavagna che sbilanciano il dataset.
Il tracciamento 3D della mano richiede una configurazione calibrata a due telecamere, e la componente di gioco umano non ha potuto essere testata in simulazione.

Impatto sul settore

Finalista per il premio al miglior articolo sui sistemi di CoRL 2023 (Best Systems Paper Award) e nella lista combinata dei finalisti Best Paper / Best Student Paper di CoRL 2023, con 415 citazioni. Il codice dell'implementazione è rilasciato su github.com/j96w/MimicPlay, con video sulla pagina del progetto.

Abstract

L'apprendimento per imitazione da dimostrazioni umane è un paradigma promettente per insegnare ai robot abilità di manipolazione nel mondo reale. Tuttavia, apprendere compiti complessi a lungo orizzonte richiede spesso una quantità irraggiungibile di dimostrazioni. Per ridurre l'elevato fabbisogno di dati, ricorriamo ai dati di gioco umano (human play): sequenze video di persone che interagiscono liberamente con l'ambiente usando le mani. Pur con morfologie diverse, ipotizziamo che i dati di gioco umano contengano informazioni ricche e salienti sulle interazioni fisiche che possono facilitare prontamente l'apprendimento delle policy del robot. Spinti da questa idea, introduciamo un framework di apprendimento gerarchico chiamato MimicPlay che apprende piani latenti dai dati di gioco umano per guidare un controllo visuomotorio di basso livello addestrato su un piccolo numero di dimostrazioni teleoperate. Con valutazioni sistematiche su 14 compiti di manipolazione a lungo orizzonte nel mondo reale, mostriamo che MimicPlay supera i metodi di apprendimento per imitazione allo stato dell'arte in tasso di successo dei compiti, capacità di generalizzazione e robustezza ai disturbi. Codice e video sono disponibili su mimic-play.github.io.

Link

arXiv 2302.12422: https://arxiv.org/abs/2302.12422
DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
Codice: https://github.com/j96w/MimicPlay
Pagina del progetto: https://mimic-play.github.io/