XIRL: Cross-embodiment Inverse Reinforcement Learning

Autori: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Embedding a coerenza ciclica temporale appresi da video di dimostratori con embodiment diversi forniscono una ricompensa basata sulla distanza dall'obiettivo che addestra policy RL su embodiment mai visti.

Perché è importante

La ricompensa richiede solo video: niente etichette d'azione, niente frame appaiati e nessuna strumentazione dell'ambiente oltre a una telecamera. Negli esperimenti dell'articolo la stessa ricompensa appresa ha addestrato agenti i cui corpi erano assenti dall'insieme di dimostrazioni, che è la situazione in cui si insegna a un robot da video umani.

Problema

I robot potrebbero imparare compiti da video in terza persona, come umani che li dimostrano, ma il corpo del dimostratore è diverso da quello del robot, quindi ciascuno risolve il compito con una strategia e una traiettoria diverse. I metodi precedenti di apprendimento della ricompensa richiedevano una traiettoria di riferimento, un allineamento per indice temporale o corrispondenze tra frame etichettate da umani tra dimostratore e allievo.

Soluzione proposta

XIRL addestra un encoder di immagini ResNet-18 con coerenza ciclica temporale (TCC) su video di sole osservazioni provenienti da più embodiment, senza etichette di embodiment. La ricompensa è una sigmoide della distanza al quadrato negativa, scalata per una temperatura, tra l'embedding del frame corrente e l'embedding medio dei frame finali delle dimostrazioni, e su tale ricompensa viene addestrata una policy Soft Actor-Critic per il nuovo embodiment.

Idee chiave

• Gli embedding TCC codificano l'avanzamento del compito, quindi la distanza da un singolo embedding obiettivo dà una ricompensa densa senza traiettoria di riferimento né allineamento per indice temporale.
• Mettere insieme dimostrazioni di più embodiment, mantenendo il totale a 1000 dimostrazioni, ha accelerato l'RL su un embodiment escluso.
• Corpi diversi risolvono lo stesso compito in modi molto diversi: in X-MAGICAL la lunghezza media delle dimostrazioni va da 48,0 passi (long-stick) a 110,8 (gripper).
• La ricompensa appresa dà credito parziale per un avanzamento parziale, ad es. per essersi mossi verso un cassetto prima di urtarlo, dove la ricompensa sparsa dell'ambiente resta a zero.

Risultati principali

• Spazzamento in X-MAGICAL con lo stesso embodiment: XIRL è stato efficiente in termini di campioni almeno quanto le altre ricompense apprese e più efficiente della ricompensa dell'ambiente in 3 embodiment su 4.
• Cross-embodiment, con ciascuno dei 4 agenti escluso e l'encoder addestrato sugli altri 3: XIRL ha generalizzato al nuovo agente in modo significativamente migliore rispetto alle ricompense TCN, LIFS e a classificatore di obiettivo (5 seed, 50 episodi di valutazione ciascuno).
• Video umani reali del dataset RLV usati per addestrare un braccio Sawyer simulato a spingere un blocco: XIRL più la ricompensa sparsa è stato più efficiente in termini di campioni di RLV e della sola ricompensa sparsa, senza etichette di frame appaiati né dati del dominio robotico nell'apprendimento della ricompensa.
• X-REAL: 93 video reali di 9 end-effector (mani umane, guanti da sci, pinze da cucina, un costume da chela di aragosta, pinzette, morsetti, una pinza prensile a braccio lungo) che spostano cinque penne in due tazze; per One Hand 5 Fingers un tentativo incompleto ha ricevuto circa metà della ricompensa di uno riuscito.
• Benchmark X-MAGICAL: 4 embodiment simulati con 1000 dimostrazioni esperte ciascuno.

Limiti

• Nessuna policy è stata addestrata su un robot reale; gli autori affermano di dover ancora mostrare l'apprendimento di policy su un robot reale.
• X-MAGICAL è un compito di spazzamento 2D costruito su PyMunk, che gli autori descrivono come una versione molto semplificata dello scenario reale.
• Le dimostrazioni contengono solo traiettorie riuscite, quindi un encoder che generalizza male può definire un compito diverso da quello inteso; l'articolo suggerisce di combinare la ricompensa appresa con una ricompensa sparsa del compito.
• Sul dataset reale X-REAL l'articolo mostra solo curve della ricompensa appresa, non l'apprendimento di policy.
• La maggior parte dei risultati è data come curve di apprendimento anziché come tassi di successo tabulati, quindi sono riportati pochi numeri esatti.

Impatto sul settore

Finalista del CoRL 2021 Best Paper Award, con 182 citazioni secondo il dato riportato. L'articolo introduce il benchmark X-MAGICAL e il dataset X-REAL; la copia v1 con licenza dice che codice e dataset saranno resi disponibili, ma non fornisce alcun link.

Abstract

Studiamo lo scenario di imitazione visiva cross-embodiment, in cui gli agenti apprendono policy da video di altri agenti (come gli umani) che dimostrano lo stesso compito, ma con nette differenze nel loro embodiment: forma, azioni, dinamica dell'end-effector, ecc. In questo lavoro dimostriamo che è possibile scoprire e apprendere automaticamente funzioni di ricompensa basate sulla visione, robuste a queste differenze, a partire da video di dimostrazione cross-embodiment. Nello specifico, presentiamo un metodo auto-supervisionato di apprendimento per rinforzo inverso cross-embodiment (Cross-embodiment Inverse Reinforcement Learning, XIRL) che sfrutta vincoli di coerenza ciclica temporale per apprendere embedding visivi profondi che catturano l'avanzamento del compito da video offline di dimostrazioni di più agenti esperti, ciascuno dei quali esegue lo stesso compito in modo diverso a causa delle differenze di embodiment. Prima del nostro lavoro, produrre ricompense da embedding auto-supervisionati richiedeva tipicamente l'allineamento con una traiettoria di riferimento, che può essere difficile da ottenere. Mostriamo empiricamente che, se gli embedding sono consapevoli dell'avanzamento del compito, prendere semplicemente la distanza negativa tra lo stato corrente e lo stato obiettivo nello spazio degli embedding appreso è utile come ricompensa per addestrare policy con l'apprendimento per rinforzo. Troviamo che la nostra funzione di ricompensa appresa non solo funziona per gli embodiment visti durante l'addestramento, ma generalizza anche a embodiment del tutto nuovi. Troviamo inoltre che le policy XIRL sono più efficienti in termini di campioni rispetto alle baseline e, in alcuni casi, superano l'efficienza in termini di campioni dello stesso agente addestrato con ricompense sparse reali (ground truth).

Link

• arXiv 2106.03911: https://arxiv.org/abs/2106.03911
• DOI 10.48550/arXiv.2106.03911: https://doi.org/10.48550/arXiv.2106.03911
• PDF: https://arxiv.org/pdf/2106.03911v1