What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Autori: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Sei algoritmi di apprendimento offline testati su 5 compiti di manipolazione simulati e 3 reali: BC-RNN, dipendente dalla storia, è quello che apprende meglio dalle dimostrazioni umane, mentre l'RL batch è in difficoltà sui dati umani.

Perché è importante

Per chi raccoglie dati in teleoperazione, lo studio fornisce impostazioni concrete: usare una policy dipendente dalla storia, includere una telecamera al polso e la randomizzazione delle immagini tramite spostamento di pixel, mantenere ridotti gli input propriocettivi e aspettarsi che la scelta del checkpoint in base alla loss di validazione selezioni una policy più debole. Gli iperparametri tarati in simulazione sono stati applicati a un braccio Franka reale senza taratura nel mondo reale e hanno comunque prodotto policy funzionanti per Lift e Can.

Problema

L'apprendimento per imitazione e l'apprendimento per rinforzo batch (offline) da dimostrazioni umane mancavano di dataset umani open source e di implementazioni riproducibili per la manipolazione robotica, quindi era difficile giudicare quali metodi e scelte progettuali funzionassero. Le dimostrazioni umane differiscono dai dati generati da macchina: possono non essere markoviane, la loro qualità varia tra operatori e la loss di addestramento è solo un surrogato del tasso di successo del compito usato in valutazione.

Soluzione proposta

Gli autori hanno raccolto dimostrazioni in teleoperazione tramite RoboTurk per cinque compiti simulati (Lift, Can, Square, Transport, Tool Hang) come dataset Proficient-Human a singolo operatore (200 dimostrazioni) e Multi-Human a sei operatori (300 dimostrazioni), più dataset generati da macchina per Lift e Can e dataset reali da 200 dimostrazioni su un braccio Franka per Lift, Can e Tool Hang. Hanno addestrato BC, BC-RNN, HBC, BCQ, CQL e IRIS su osservazioni a bassa dimensione e da immagini, valutato online in simulazione ogni checkpoint e variato spazio delle osservazioni, iperparametri, dimensione del dataset e regola di selezione della policy.

Idee chiave

I modelli dipendenti dalla storia (BC-RNN, HBC, IRIS) apprendono dalle dimostrazioni umane molto meglio del BC semplice; il divario tra BC-RNN e BC cresce con l'orizzonte del compito (circa 55 % su Transport (PH) contro circa 5 % su Square (PH)) e con dati di più operatori.
BCQ e CQL vanno bene su dati di qualità mista generati da macchina ma hanno prestazioni scarse sui dataset umani, anche su un insieme diagnostico di dimostrazioni riuscite e fallite appaiate di un solo operatore.
La progettazione delle osservazioni conta: aggiungere la velocità dell'end-effector o gli stati dei giunti ha ridotto le prestazioni degli agenti a bassa dimensione del 49 %–88 % (in termini relativi), mentre rimuovere la randomizzazione tramite spostamento di pixel o la telecamera al polso ha penalizzato gli agenti basati su immagini.
Selezionare un checkpoint in base alla loss di validazione minima o all'ultima epoca ha dato policy peggiori dal 10 % al 100 % rispetto al checkpoint migliore, quindi la selezione offline delle policy resta un problema aperto.
I compiti semplici (Lift, Can) hanno raggiunto il 75 %–100 % di successo con il 20 % dei dati, mentre quelli complessi (Square, Transport) hanno continuato a migliorare al crescere dei dati.

Risultati principali

BC-RNN su dati Proficient-Human a bassa dimensione (3 seed): Lift 100 %, Can 100 %, Square 84,0 %, Transport 71,3 %, Tool Hang 19,3 %.
BC-RNN su osservazioni da immagini: Square (PH) 82,0 %, Transport (PH) 72,0 %, Tool Hang (PH) 67,3 %, contro 41,3 %, 0,7 % e 3,3 % di BCQ.
Su dati Multi-Human a bassa dimensione BCQ ha raggiunto il 62,7 % su Can e il 14,0 % su Square, contro il 100 % e il 78,0 % di BC-RNN.
Sulle miscele Square da 200 dimostrazioni con diversa qualità degli operatori BC-RNN ha ottenuto 55,3 %, 73,3 % e 74,0 %, al di sotto del suo 84,0 % sul dataset Square (PH) da 200 dimostrazioni a singolo operatore.
Braccio Franka reale, BC-RNN, checkpoint finale su 30 esecuzioni, nessuna taratura nel mondo reale: Lift 96,7 %, Can 73,3 %, Tool Hang 3,3 %.
Nel compito Can reale, rimuovere la randomizzazione tramite spostamento di pixel ha fatto scendere il successo al 26,7 % e rimuovere la telecamera al polso al 43,3 %.

Limiti

I risultati in simulazione riportano il miglior checkpoint trovato valutando online ogni checkpoint, cosa che gli autori notano non essere fattibile su un robot reale; i risultati reali usano invece il checkpoint finale.
Gli esperimenti reali coprono tre compiti con 30 esecuzioni ciascuno e nessuna taratura degli iperparametri nel mondo reale; gli autori definiscono questi risultati un limite inferiore, e la policy reale di Tool Hang ha avuto successo nel 3,3 % delle esecuzioni.
I dataset generati da macchina esistono solo per Lift e Can, perché l'agente RL non è riuscito a risolvere gli altri compiti nemmeno con una taratura considerevole.
Lo studio confronta sei algoritmi esistenti anziché proporre una soluzione; colmare il divario dell'RL batch sui dati umani e migliorare la selezione offline delle policy sono lasciati a lavori futuri.
La copia PMLR rimanda ad appendici (dettagli dei compiti, Tabelle 27 e 28 sulla dimensione dei dataset, iperparametri di BCQ e CQL) che non vi sono incluse.

Impatto sul settore

Citato 548 volte (dato come riportato). Gli autori hanno reso open source i dataset e tutte le implementazioni degli algoritmi sulla pagina del progetto, fornendo un insieme condiviso di compiti di manipolazione con dimostrazioni umane e di baseline per confrontare i metodi di apprendimento offline.

Abstract

Imitare dimostrazioni umane è un approccio promettente per dotare i robot di varie capacità di manipolazione. Sebbene siano stati fatti progressi recenti nell'apprendimento per imitazione e nell'apprendimento per rinforzo batch (offline), la mancanza di dataset umani open source e di metodi di apprendimento riproducibili rende difficile valutare lo stato del campo. In questo articolo conduciamo uno studio approfondito di sei algoritmi di apprendimento offline per la manipolazione robotica su cinque compiti di manipolazione multi-fase simulati e tre reali, di complessità variabile e con dataset di qualità variabile. Il nostro studio analizza le sfide più critiche nell'apprendere da dati umani offline per la manipolazione. Sulla base dello studio ricaviamo una serie di lezioni, tra cui la sensibilità a diverse scelte di progettazione algoritmica, la dipendenza dalla qualità delle dimostrazioni e la variabilità in base al criterio di arresto dovuta ai diversi obiettivi in addestramento e in valutazione. Evidenziamo inoltre le opportunità dell'apprendimento da dataset umani, come la capacità di apprendere policy competenti su compiti multi-fase impegnativi al di là della portata degli attuali metodi di apprendimento per rinforzo, e la capacità di scalare facilmente a scenari di manipolazione naturali del mondo reale in cui sono disponibili solo segnali sensoriali grezzi. Abbiamo reso open source i nostri dataset e tutte le implementazioni degli algoritmi per facilitare la ricerca futura e confronti equi nell'apprendimento da dati di dimostrazione umana su https://arise-initiative.github.io/robomimic-web/

Link

arXiv 2108.03298: https://arxiv.org/abs/2108.03298
DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
Pagina del progetto: https://arise-initiative.github.io/robomimic-web/