Disentangled Relational Representations for Explaining and Learning from Demonstration

Autori: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un β-VAE con loss ausiliarie sulle etichette apprende embedding di relazioni spaziali che trasformano dimostrazioni su tavolo in piani simbolici e pose dell'end effector del PR2.

Perché è importante

Un utente può insegnare a un robot un vocabolario spaziale a partire da dati parzialmente etichettati, e il robot poi spiega nuove dimostrazioni con quello stesso vocabolario, così che il suo piano possa essere letto e verificato da una persona. Gli stessi embedding alimentano un regressore di posa, che collega i simboli insegnati al movimento del braccio su un PR2.

Problema

L'apprendimento da dimostrazione dipende da un bias induttivo nella struttura di ricompense e policy, e per chi non è esperto di robotica è più facile dimostrare un compito che specificarlo. Un robot istruito con il linguaggio deve ancorare concetti astratti come 'a sinistra di' o 'sopra' nel proprio flusso sensoriale ad alta dimensione. I modelli relazionali precedenti richiedono grandi dataset completamente etichettati e funzionano come scatole nere, oppure presuppongono un modello noto dell'ambiente, una mappatura deterministica sui simboli e piani completi.

Soluzione proposta

Un β-VAE siamese codifica immagini RGBD mascherate di un oggetto bersaglio e di un oggetto di riferimento in embedding di oggetto, e un operatore variazionale mappa ogni coppia in uno spazio relazionale a bassa dimensione con un asse per gruppo di concetti (sinistra/destra, davanti/dietro, sopra/sotto, vicino/lontano, appoggiato/non appoggiato, dentro/fuori). Termini di ricostruzione, KL ed entropia incrociata su etichette deboli e parzialmente mancanti allineano questi assi con le nozioni umane. In fase di test, i test del rapporto di verosimiglianza sulle tracce degli embedding delle dimostrazioni ricavano quale oggetto si muove, quando e come cambiano le sue relazioni, i passi presenti in tutte le dimostrazioni formano il piano, e un MLP regredisce una posa a 6-DoF dell'end effector che viene passata al pianificatore del movimento MoveIt!.

Idee chiave

Etichette deboli con un caso esplicito 'sconosciuto' bastano per allineare gli assi latenti con i concetti spaziali umani; le coppie non etichettate contribuiscono comunque attraverso la loss di ricostruzione.
Combinare la ricostruzione mascherata con la classificazione delle etichette degli oggetti ha dato lo spazio relazionale più utilizzabile per segmentare le dimostrazioni; i modelli senza la loss sulle etichette degli oggetti hanno prodotto embedding relazionali molto concentrati attorno allo zero, che gli autori collegano alla loro segmentazione più debole.
I test del rapporto di verosimiglianza tra una gaussiana 'in movimento' e una 'stazionaria' su embedding consecutivi bastano per capire quale oggetto si muove e quando.
Mantenere solo i passi presenti in tutte le dimostrazioni elimina i movimenti incidentali, come passare dietro un oggetto andando dalla sua sinistra alla sua destra.
Il regressore di posa è più accurato sugli assi che contano per ciascun compito: la posizione per appoggiare sopra o dentro, rollio e beccheggio per mettere due tazze una di fronte all'altra.

Risultati principali

Segmentazione dei piani su dimostrazioni ripetitive di BlocksWorld: il modello completo (ricostruzione + loss sulle etichette degli oggetti) ha ottenuto 0,80 su sinistra-destra, 0,88 su davanti-dietro, 0,91 su sotto-sopra, 0,86 su lontano-vicino e 0,76 su non appoggiato-appoggiato, contro 0,50, 0,64, 0,54, 0,56 e 0,49 del modello senza nessuno dei due termini.
Eccezione: sul gruppo fuori-dentro il modello completo ha ottenuto 0,56, al di sotto di tutte e tre le ablazioni (0,66, 0,62 e 0,78).
Dimostrazioni concatenate, in cui si muove un solo oggetto: tutti i modelli hanno raggiunto un'accuratezza di 1 su C-shape e jump-over e di circa 0,74 su off-on-off.
La distanza di edit media dei piani dedotti scende verso la ground truth man mano che si usano più dimostrazioni (fino a 8); alcune curve non convergono a causa di occlusioni degli oggetti in alcune dimostrazioni.
Dati: 1000 scene sintetiche di BlocksWorld con 4 oggetti ciascuna (72.000 relazioni, 40 % non etichettate) e, sul PR2, 3 compiti teleoperati × 20 dimostrazioni, per 2400 coppie di oggetti etichettate e 6000 non etichettate; la predizione della posa è stata testata su 10 ulteriori dimostrazioni per compito.

Limiti

L'estrazione dell'essenza del compito funziona solo per compiti deterministici, in cui un'unica sequenza di azioni raggiunge l'obiettivo.
La presa non è trattata; si presuppone che il robot tenga già l'oggetto da spostare.
La segmentazione non è appresa: le maschere provengono da una Mask R-CNN preaddestrata sul robot e dallo stato del simulatore in BlocksWorld, e le istruzioni devono seguire un modello predefinito per il parser.
Le occlusioni degli oggetti in alcune dimostrazioni impediscono ai piani dedotti di convergere alla ground truth.
La valutazione copre tre semplici compiti su tavolo; i compiti composizionali e i modificatori come 'più a sinistra' sono lasciati al lavoro futuro.

Impatto sul settore

Finalista del CoRL 2019 Best Paper Award, con 28 citazioni. La pagina ufficiale del progetto collega il codice degli esperimenti, il codice di generazione dei dati e i dati di addestramento fotorealistici basati su CLEVR.

Abstract

L'apprendimento da dimostrazione è un metodo efficace con cui gli utenti umani possono indicare il comportamento desiderato di un robot. Tuttavia, per la maggior parte dei compiti non banali di interesse pratico, un apprendimento da dimostrazione efficiente dipende in modo cruciale dal bias induttivo nella struttura scelta per ricompense/costi e policy. Affrontiamo il caso in cui questo bias induttivo deriva da uno scambio con un utente umano. Proponiamo un metodo in cui un agente di apprendimento utilizza lo strato di collo di bottiglia informativo di un modello neurale variazionale con molti parametri, con termini di loss ausiliari, per ancorare concetti astratti come le relazioni spaziali. I concetti sono menzionati in istruzioni in linguaggio naturale e si manifestano nel flusso di input sensoriale ad alta dimensione che l'agente riceve dal mondo. Valutiamo le proprietà dello spazio latente del modello appreso in un ambiente sintetico fotorealistico e ci concentriamo in particolare sull'esame della sua utilità per compiti a valle. Inoltre, attraverso una serie di esperimenti controllati di manipolazione su tavolo, dimostriamo che la varietà appresa può essere usata per ancorare le dimostrazioni come piani simbolici, che possono poi essere eseguiti su un robot PR2.

Link

arXiv 1907.13627: https://arxiv.org/abs/1907.13627
DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
Codice: https://github.com/yordanh/spatial_relations_experiments
Pagina del progetto: https://sites.google.com/view/explain-n-repeat/