Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

DayDreamer: World Models for Physical Robot Learning

Autori: Philipp Wu, Alejandro Escontrela, Danijar Hafner, Ken Goldberg, Pieter Abbeel · CoRL 2022

CoRL 2022

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

L'RL basato su modello del mondo apprende direttamente su robot fisici addestrando le policy nell'immaginazione: nessun simulatore necessario, stessi iperparametri su 4 robot diversi.

Perché è importante

DayDreamer ha dimostrato che l'RL basato su modello del mondo può funzionare direttamente su robot fisici con budget di dati pratici, attaccando il divario fondamentale sim-to-real. Invece di progettare simulatori, il robot costruisce un proprio modello interno della realtà e si esercita al suo interno.

Problema

Il deep RL richiede quantità proibitive di tentativi ed errori nel mondo reale, spingendo i ricercatori verso simulatori che introducono divari sim-to-real e non possono adattarsi ad ambienti che cambiano.

Soluzione proposta

Usa l'algoritmo Dreamer per apprendere un modello del mondo dall'esperienza di un robot reale, poi addestra una policy actor-critic interamente all'interno di traiettorie immaginate, riducendo il fabbisogno di dati reali ed evitando le imprecisioni dei simulatori.

Idee chiave

  • I modelli del mondo possono sostituire i simulatori costruiti a mano per l'apprendimento su robot reali
  • Un unico insieme di iperparametri funziona su quadrupede, bracci robotici e robot su ruote
  • L'addestramento immaginato dalla dinamica appresa migliora drasticamente l'efficienza campionaria rispetto ai metodi model-free
  • Un'architettura actor-learner a due processi consente l'apprendimento online continuo su hardware fisico

Risultati principali

  • Il quadrupede ha imparato a stare in piedi e a camminare da zero in circa 1 ora di interazione reale
  • I bracci robotici hanno imparato il pick-and-place da immagini di telecamera con ricompense sparse
  • Tutti gli esperimenti hanno usato iperparametri di Dreamer identici, senza taratura per singolo robot
  • Si è adattato a perturbazioni fisiche in circa 10 minuti di interazione aggiuntiva

Limiti

  • I compiti dimostrati hanno un orizzonte relativamente breve: non è chiaro come il metodo scali alla manipolazione a lungo orizzonte in più fasi
  • L'apprendimento online su hardware fisico comporta un'esplorazione reale con rischi per la sicurezza
  • Richiede una GPU adeguata in esecuzione insieme al robot per l'addestramento del modello del mondo

Impatto sul settore

DayDreamer ha dimostrato che l'apprendimento per rinforzo basato su modello del mondo è praticabile su robot fisici, senza bisogno di un simulatore. Ha aperto una terza via tra il puro trasferimento sim-to-real e il costoso RL model-free, mostrando che i robot possono costruire propri modelli interni della realtà ed esercitarsi al loro interno. L'approccio ha influenzato direttamente l'era dei modelli del mondo che è seguita.

Abstract

Per risolvere compiti in ambienti complessi, i robot devono imparare dall'esperienza. L'apprendimento per rinforzo profondo è un approccio comune, ma richiede grandi quantità di tentativi ed errori per imparare, il che ne limita l'impiego nel mondo fisico. DayDreamer applica l'algoritmo Dreamer per apprendere un modello del mondo da piccole quantità di interazione reale, poi pianifica all'interno di quel modello del mondo appreso, riducendo sostanzialmente i tentativi ed errori necessari. Usando iperparametri identici in tutti gli esperimenti, DayDreamer dimostra l'apprendimento online su 4 robot reali senza simulatori.

Link

  • arXiv 2206.14176: https://arxiv.org/abs/2206.14176
  • PDF: https://arxiv.org/pdf/2206.14176
  • Codice: https://github.com/danijar/daydreamer
  • Pagina del progetto: https://danijar.com/project/daydreamer/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.