Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Behavior Transformers: Cloning k modes with one stone

Autori: Nur Muhammad Mahi Shafiullah, Zichen Jeff Cui, Ariuntuya Altanzaya, Lerrel Pinto · NeurIPS 2022

NeurIPS 2022

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Un Transformer che gestisce dati di dimostrazione multimodali tramite la discretizzazione delle azioni e la correzione degli offset, clonando comportamenti diversi da dataset non etichettati.

Perché è importante

Grandi insiemi di dimostrazioni umane sono economici da raccogliere, ma mescolano molti modi di svolgere un compito e non hanno etichette di ricompensa. Il behavior cloning standard presuppone un solo modo di agire e fa la media dei modi, e l'RL offline ha bisogno di ricompense. BeT mostra un modo semplice perché una policy robotica impari da questi dati misti e non etichettati mantenendo i diversi comportamenti, senza modelli generativi complessi né lente ottimizzazioni al momento del test.

Problema

Le dimostrazioni umane variano molto, contengono più modi di comportamento e di solito arrivano senza etichette di ricompensa. L'RL offline ha bisogno di etichette di ricompensa. Il behavior cloning standard addestrato con l'errore quadratico medio presuppone che i dati abbiano un solo modo, e quindi fa la media tra i modi. I precedenti metodi multimodali richiedono modelli generativi complessi, un numero esponenziale di bin d'azione, un addestramento complicato o un'ottimizzazione lenta al momento del test.

Soluzione proposta

BeT raggruppa prima tutte le azioni del dataset con k-means. Ogni azione diventa un bin (il centro di cluster più vicino) più un residuo continuo. Un piccolo Transformer minGPT legge una breve storia di osservazioni e predice una probabilità per ogni bin, addestrato con la focal loss. Una testa aggiuntiva predice un offset residuo per ogni bin, addestrata solo sul bin vero. Al momento del test BeT campiona un bin e aggiunge il suo offset per ottenere un'azione continua. Non servono etichette di ricompensa né di modo.

Idee chiave

  • Raggruppare le azioni continue in bin k-means permette a un Transformer di modellare una distribuzione multimodale delle azioni come una semplice scelta categoriale.
  • Un offset residuo per bin, addestrato con una loss multitask mascherata presa dal rilevamento di oggetti, recupera la precisione persa con la discretizzazione.
  • La perdita di precisione dovuta alla discretizzazione cresce con la dimensione dello spazio delle azioni: togliere gli offset ha penalizzato soprattutto Kitchen, che ha lo spazio delle azioni più grande.
  • Una breve storia di osservazioni aiuta, perché il comportamento umano raramente è markoviano; togliere la storia ha ridotto le prestazioni in CARLA a 0,65.
  • Il tronco Transformer conta: sostituirlo con un MLP, una convoluzione temporale o un LSTM ha ridotto le prestazioni e reso più difficile un addestramento stabile.

Risultati principali

  • Spinta di blocchi (xArm simulato, 1.000 esecuzioni): BeT ha spinto entrambi i blocchi nei bersagli in 0,71 delle esecuzioni; ogni baseline ha ottenuto 0.
  • Franka Kitchen (simulata, 1.000 esecuzioni): BeT ha completato 4 compiti in 0,44 delle esecuzioni, contro 0,24 della baseline migliore, IBC.
  • Guida in CARLA (simulata, 100 esecuzioni): BeT ha raggiunto la meta in 0,98 delle esecuzioni ed è stato battuto di poco da LWR (1).
  • BeT ha coperto i modi presenti nei dati: in CARLA ha svoltato a sinistra 0,34 e a destra 0,64 delle volte (dimostrazioni 0,50/0,50), mentre la maggior parte delle baseline prendeva un solo lato.
  • In Kitchen, l'entropia delle sequenze di compiti di BeT è stata 2,47, contro 2,96 delle dimostrazioni e 2,41 di IBC.
  • Ablazioni (prestazioni rispetto a BeT completo): senza discretizzazione la spinta di blocchi è scesa a 0,25; senza offset Kitchen è scesa a 0,78; un tronco LSTM ha ottenuto 0,03-0,04.
  • Nella spinta di blocchi BeT si è addestrato in meno di un'ora su una sola GPU desktop, mentre IBC ha richiesto circa 14 ore; le esecuzioni di valutazione hanno richiesto 1,65 s contro 17,70 s di IBC.

Limiti

  • Tutti gli esperimenti sono in simulazione o in ambienti giocattolo; gli autori indicano l'apprendimento da dimostrazioni umane nel mondo reale come il prossimo uso promettente.
  • Come altri metodi di behavior cloning, BeT fallisce quando le osservazioni escono dalla distribuzione di addestramento.
  • Nella spinta di blocchi, il principale errore di BeT è non accorgersi che un blocco non è entrato del tutto nel bersaglio.
  • In Kitchen, BeT percorre alcune sequenze di compiti più spesso delle dimostrazioni (entropia 2,47 contro 2,96).
  • Estrarre da BeT una policy a modo singolo per l'apprendimento per rinforzo online è lasciato a lavori futuri.

Impatto sul settore

BeT mostra che il behavior cloning può imparare da dimostrazioni multimodali non etichettate, senza etichette di ricompensa. Gli autori osservano che i dataset non etichettati sono più economici da ottenere, il che dovrebbe aiutare BeT a scalare. Vedono inoltre BeT come un possibile prior per l'apprendimento per rinforzo online, se se ne può estrarre una policy a modo singolo.

Abstract

Presentiamo Behavior Transformer (BeT), una tecnica per modellare dati di dimostrazione non etichettati con più modalità. Modifichiamo le architetture Transformer standard tramite la discretizzazione delle azioni e una correzione multi-task delle azioni ispirata alla predizione degli offset nel rilevamento degli oggetti. Ciò permette al modello di predire azioni continue multimodali sfruttando le potenti capacità di modellazione delle sequenze dei Transformer. Valutiamo BeT su dataset di manipolazione robotica e di guida autonoma, dimostrando miglioramenti rispetto ai metodi precedenti sia nelle prestazioni sui compiti sia nella capacità di cogliere la diversità delle modalità dei dataset. Uno studio di ablazione esamina il contributo di ciascun componente chiave.

Link

  • arXiv 2206.11251: https://arxiv.org/abs/2206.11251
  • PDF: https://arxiv.org/pdf/2206.11251.pdf
  • Codice: https://github.com/notmahi/bet
  • Pagina del progetto: https://mahis.life/bet/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.