Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Autori: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una ricompensa di stile appresa in modo avversariale da 4,5 s di motion capture di un pastore tedesco sostituisce una ricompensa progettata a mano e si trasferisce a un quadrupede A1 reale con un costo di trasporto più basso.

Perché è importante

La taratura della ricompensa è una parte consistente del lavoro di ingegneria nella locomozione su gambe sim-to-real. L'articolo mostra che pochi secondi di movimento di riferimento possono sostituire una ricompensa di stile a 13 termini progettata a mano su un quadrupede reale, mentre la policy si discosta comunque dalle clip quanto serve per seguire le velocità comandate e cambia andatura con la velocità.

Problema

Gli agenti di apprendimento per rinforzo per la locomozione su gambe addestrati con una ricompensa sottospecificata imparano spesso comportamenti come arti che si agitano, vibrazioni delle gambe o contatti ad alto impulso che sfruttano le imprecisioni del simulatore e non possono funzionare su un robot reale. Il rimedio abituale è una ricompensa di stile complessa progettata a mano, che richiede una notevole conoscenza del dominio e una taratura delicata, e tende a essere specifica di una piattaforma e di un compito.

Soluzione proposta

Gli autori adattano gli Adversarial Motion Priors (AMP) dalla computer grafica: un discriminatore addestrato con un obiettivo GAN ai minimi quadrati e una penalità sul gradiente impara a distinguere le transizioni di stato di un dataset di motion capture da quelle prodotte dalla policy, e la sua uscita diventa una ricompensa di stile sommata a una ricompensa di compito per l'inseguimento della velocità (pesi 0,65 e 0,35). Clip di un pastore tedesco per un totale di 4,5 secondi vengono riadattate al robot A1 con la cinematica inversa, e la policy (angoli dei giunti obiettivo a 30 Hz, inseguiti da controllori PD) viene addestrata con PPO su 5.280 ambienti Isaac Gym con randomizzazione del dominio prima dell'impiego sull'hardware.

Idee chiave

• Una ricompensa di stile appresa in modo avversariale da 4,5 s di motion capture può sostituire una ricompensa di stile a 13 termini progettata a mano e produrre comunque policy impiegabili su un quadrupede reale.
• Poiché il discriminatore valuta le transizioni di stato invece di inseguire una clip specifica, la policy può seguire comandi di velocità che non compaiono nei dati di riferimento.
• Le policy addestrate con il prior di movimento cambiano andatura in base alla velocità comandata (ambio a 0,8 m/s, trotto a 1,7 m/s e un passaggio dall'ambio al galoppo corto quando il comando sale da 1 m/s a 2 m/s), cosa che gli autori collegano al modo in cui gli animali riducono il consumo di energia.
• Senza ricompensa di stile, la policy sfrutta la dinamica imprecisa del simulatore facendo vibrare i piedi ad alta velocità e coppia; insegue bene la velocità ma è troppo violenta per funzionare sul robot reale.
• Gli autori attribuiscono il minor costo di trasporto a strategie energeticamente efficienti già presenti nei dati di movimento del cane.

Risultati principali

• Costo meccanico di trasporto in simulazione (Tabella II), a velocità comandate di 0,4, 0,8, 1,2 e 1,6 m/s: 1,07, 0,93, 1,02 e 1,12 con la ricompensa AMP contro 1,54, 1,37, 1,40 e 1,41 con la ricompensa di stile complessa. Il testo indica per la ricompensa complessa un intervallo da 1,37 a 1,65, che non corrisponde al valore più alto della tabella, 1,54.
• Senza ricompensa di stile, il costo di trasporto è stato di 14,03, 8,00, 6,05 e 5,18 alle stesse quattro velocità, a causa di coppie e velocità dei motori elevate.
• Velocità di avanzamento misurata per comandi di 0,4/0,8/1,2/1,6 m/s: 0,36/0,77/1,11/1,52 m/s con AMP, 0,41/0,88/1,28/1,67 m/s con la ricompensa complessa e 0,42/0,82/1,22/1,61 m/s senza ricompensa di stile.
• L'addestramento ha richiesto 4 miliardi di passi d'ambiente (circa 4,2 anni di dati simulati) in 16 ore su una singola GPU Tesla V100.
• Sull'A1 reale, la policy AMP ha seguito comandi sinusoidali di velocità lineare e angolare, ha percorso un tragitto con curve strette ed è passata dall'ambio al galoppo corto quando il comando è salito da 1 m/s a 2 m/s.

Limiti

• L'articolo non ha una sezione sui limiti. La sua valutazione sul robot reale è qualitativa (diagrammi delle andature, tracce di velocità, grafici del costo di trasporto e un esempio di inseguimento di un percorso), senza tassi di successo né tabelle energetiche misurate sull'hardware.
• Tutti i valori di costo di trasporto e di inseguimento della velocità della Tabella II provengono dalla simulazione.
• I dati di riferimento sono 4,5 s di un singolo pastore tedesco (ambio, trotto, galoppo corto e rotazione sul posto), riadattati a un solo robot, l'A1; nessun altro robot o skill viene testato.
• In simulazione la policy AMP procede leggermente al di sotto della velocità di avanzamento comandata per ogni comando testato (per esempio 1,52 m/s per un comando di 1,6 m/s).

Impatto sul settore

Finalista dell'IROS 2022 Best Paper Award e dell'ABB Best Student Paper Award, e citato 210 volte. L'articolo rimanda a una pagina del progetto con video e al repository del progetto, che rimanda al codice su github.com/Alescontrela/AMP_for_hardware.

Abstract

Addestrare un agente simulato ad alta dimensionalità con una funzione di ricompensa sottospecificata porta spesso l'agente ad apprendere strategie fisicamente irrealizzabili che risultano inefficaci quando vengono impiegate nel mondo reale. Per mitigare questi comportamenti innaturali, chi pratica l'apprendimento per rinforzo utilizza spesso funzioni di ricompensa complesse che incoraggiano comportamenti fisicamente plausibili. Tuttavia, per creare ricompense progettate a mano è spesso necessario un processo di taratura noioso e laborioso, e tali ricompense potrebbero non generalizzare facilmente tra piattaforme e compiti. Proponiamo di sostituire le funzioni di ricompensa complesse con "ricompense di stile" apprese da un dataset di dimostrazioni di motion capture. Una ricompensa di stile appresa può essere combinata con una ricompensa di compito arbitraria per addestrare policy che eseguono compiti usando strategie naturalistiche. Queste strategie naturali possono anche facilitare il trasferimento al mondo reale. Partiamo da Adversarial Motion Priors (prior di movimento avversariali), un approccio del campo della computer grafica che codifica una ricompensa di stile a partire da un dataset di movimenti di riferimento, per dimostrare che un approccio avversariale all'addestramento delle policy può produrre comportamenti che si trasferiscono a un robot quadrupede reale senza richiedere funzioni di ricompensa complesse. Dimostriamo inoltre che una ricompensa di stile efficace può essere appresa da pochi secondi di dati di motion capture raccolti da un pastore tedesco e porta a strategie di locomozione efficienti dal punto di vista energetico con transizioni di andatura naturali.

Link

• arXiv 2203.15103: https://arxiv.org/abs/2203.15103
• DOI 10.1109/IROS47612.2022.9981973: https://doi.org/10.1109/IROS47612.2022.9981973
• PDF: https://arxiv.org/pdf/2203.15103v1
• Codice: https://github.com/escontra/AMP_for_hardware
• Pagina del progetto: https://sites.google.com/berkeley.edu/amp-in-real/home