Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

Autori: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un agente di RL sceglie tra primitive programmate a mano di raggiungimento, presa, spinta e rilascio o un'azione motoria grezza, e ne imposta i parametri, il che riduce l'onere dell'esplorazione nella manipolazione a lungo orizzonte.

Perché è importante

La robotica dispone già di moduli affidabili per afferrare e raggiungere, e questo lavoro mostra che un algoritmo di RL generico può imparare a concatenarli senza un piano dei compiti scritto a mano. Poiché la policy agisce tramite primitive, la stessa policy è stata trasferita dalla simulazione a un robot reale una volta reimplementate le primitive sull'hardware.

Problema

L'apprendimento per rinforzo profondo fatica nella manipolazione a lungo orizzonte perché il robot deve esplorare uno spazio molto ampio di azioni motorie di basso livello. I metodi di RL gerarchico che apprendono abilità da zero richiedono molti campioni, mentre la pianificazione di compiti e movimenti e la programmazione neurale si basano sulla conoscenza del dominio o sulla supervisione umana per comporre moduli già pronti.

Soluzione proposta

MAPLE formula il controllo come un MDP ad azioni parametrizzate: a ogni passo una policy di compito di alto livello sceglie una primitiva (raggiungimento, presa, spinta, rilascio della pinza o una singola azione atomica) e una sottorete dei parametri per ciascuna primitiva ne imposta gli ingressi, come una posizione obiettivo e un angolo di imbardata. Entrambe sono addestrate con un Soft Actor-Critic modificato, e un punteggio analitico di affordance aggiunto alla ricompensa orienta i parametri delle primitive verso gli oggetti rilevanti. Mantenere l'azione atomica permette all'agente di gestire fasi, come l'inserimento ricco di contatti, che le primitive non possono esprimere.

Idee chiave

• Una policy gerarchica, che sceglie prima la primitiva e poi i suoi parametri, ha superato una policy piatta che campiona tipo e parametri in modo indipendente
• Mantenere la primitiva atomica è stato necessario per Peg Insertion: la versione senza ha raggiunto lo 0 % mentre MAPLE ha raggiunto il 100 %
• Senza ricompense di affordance, o senza la primitiva di raggiungimento o di presa, l'agente non è riuscito a risolvere Pick and Place
• Un punteggio di composizionalità basato sulla distanza di Levenshtein sulle sequenze di primitive apprese è più basso per i compiti ricchi di contatti (Peg Insertion 0,24, Wipe 0,67) che per quelli prensili (Lift e Door 1,0)
• Uno schema di compito appreso può essere riusato su un compito simile, così che vadano appresi solo i parametri delle primitive

Risultati principali

• Successo finale medio su otto compiti simulati: MAPLE 90 %, Atomic SAC 19 %, Flat 36 %, Open Loop 41 %, DAC 11 %, MAPLE senza azioni atomiche 79 %
• Il guadagno rispetto alla baseline Atomic è indicato come un aumento del 70 % nell'introduzione e come un successo superiore del 71 % con ricompense 2-3× più alte nella sezione dei risultati
• L'articolo descrive MAPLE come l'unico metodo che ha risolto in modo costante tutti i compiti a braccio singolo del benchmark standard robosuite
• Trasferire lo schema del compito Pick and Place con la lattina di bibita a una variante con il pane ha appreso il compito obiettivo oltre 5× più velocemente che addestrando da zero
• Successo nel mondo reale su 30 prove per compito: 93 % su Stack (97 % in simulazione) e 83 % su Cleanup (93 % in simulazione)
• HIRO non è riuscito a fare progressi ed è stato escluso dai risultati

Limiti

• Gli autori affermano che le azioni atomiche possono colmare piccole lacune ma non quelle grandi che richiedono molte azioni di basso livello, e che serve altro lavoro su esplorazione e assegnazione del credito
• I punteggi di affordance sono definiti a mano a partire dagli stati degli oggetti; gli autori indicano le affordance apprese come lavoro futuro
• Wipe resta difficile: MAPLE vi raggiunge il 42 % di successo
• Nei test nel mondo reale il beccheggio, l'imbardata e l'altezza del tavolo degli oggetti sono stati impostati nel codice per aggirare errori di stima della posa, e le occlusioni hanno richiesto una routine di sollevamento e nuova stima
• I fallimenti nel mondo reale sono dipesi soprattutto da prese scadenti ripetute o dal robot che raggiungeva i limiti dei giunti e attivava un arresto di sicurezza

Impatto sul settore

Vincitore del premio ICRA 2022 Outstanding Learning Paper, con 155 citazioni. Gli autori rilasciano codice e video sulla pagina del progetto.

Abstract

I compiti di manipolazione realistici richiedono che un robot interagisca con l'ambiente attraverso una sequenza prolungata di azioni motorie. Sebbene i metodi di apprendimento per rinforzo profondo siano emersi di recente come un paradigma promettente per automatizzare i comportamenti di manipolazione, di solito non sono all'altezza nei compiti a lungo orizzonte a causa dell'onere dell'esplorazione. Questo lavoro introduce MAnipulation Primitive-augmented reinforcement LEarning (MAPLE), un framework di apprendimento che arricchisce gli algoritmi standard di apprendimento per rinforzo con una libreria predefinita di primitive di comportamento. Queste primitive di comportamento sono moduli funzionali robusti specializzati nel raggiungere obiettivi di manipolazione, come afferrare e spingere. Per usare queste primitive eterogenee, sviluppiamo una policy gerarchica che coinvolge le primitive e ne istanzia l'esecuzione con parametri di ingresso. Dimostriamo che MAPLE supera con un margine significativo gli approcci di riferimento su una serie di compiti di manipolazione simulati. Quantifichiamo inoltre la struttura composizionale dei comportamenti appresi e mettiamo in evidenza la capacità del nostro metodo di trasferire le policy a nuove varianti dei compiti e all'hardware fisico. Video e codice sono disponibili su https://ut-austin-rpl.github.io/maple

Link

• arXiv 2110.03655: https://arxiv.org/abs/2110.03655
• DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
• PDF: https://arxiv.org/pdf/2110.03655v1
• Pagina del progetto: https://ut-austin-rpl.github.io/maple