Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Meta-Reinforcement Learning

  • Detto anche: meta-RL
  • Categoria: Learning & autonomy › RL & simulation
  • Tag: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning

Apprendimento per rinforzo che si addestra su molti task correlati affinché l'agente impari ad adattarsi e possa risolvere un nuovo task della stessa famiglia con poca esperienza.

Definizione

Il meta-apprendimento per rinforzo (meta-reinforcement learning, meta-RL) tratta l'apprendimento stesso come ciò che deve essere appreso. Invece di addestrare una policy per un solo task, l'agente viene addestrato su una distribuzione di task correlati, per esempio raggiungere bersagli diversi, spingere oggetti di masse diverse o aprire porte diverse. L'obiettivo è che, davanti a un nuovo task estratto dalla stessa distribuzione, possa adattarsi con una piccola quantità di nuova esperienza, spesso pochi episodi, invece di imparare da zero. L'addestramento è diviso in un ciclo interno, che si adatta a un task, e un ciclo esterno, che migliora la procedura di adattamento attraverso i task.

Sono comuni tre famiglie di metodi. I metodi basati sul gradiente, come il meta-apprendimento indipendente dal modello (MAML, Finn, Abbeel e Levine, 2017), apprendono pesi iniziali della rete a partire dai quali pochi passi di gradiente sul nuovo task danno una buona policy. I metodi ricorrenti o basati sul contesto, come RL² (Duan et al., 2016), forniscono la storia di stati, azioni e ricompense a una rete ricorrente o a un altro modello di sequenze il cui stato nascosto conserva ciò che ha appreso sul task corrente, così l'adattamento avviene senza aggiornamenti del gradiente. I metodi di inferenza latente del task, come PEARL (Rakelly et al., 2019), apprendono un encoder che inferisce una variabile di task probabilistica dall'esperienza e condizionano la policy su di essa, il che consente anche l'addestramento off-policy.

Il meta-RL è strettamente legato al processo decisionale parzialmente osservabile: il task sconosciuto può essere visto come una parte nascosta dello stato che l'agente deve inferire agendo. Si distingue dall'apprendimento per rinforzo multi-task, che addestra una singola policy a svolgere bene un insieme noto e fisso di task, di solito con l'identità del task fornita, e non misura l'adattamento a task mai visti. Benchmark come Meta-World mettono alla prova entrambi gli scenari sullo stesso insieme di task di manipolazione. I risultati dipendono molto da quanto è ampia la distribuzione dei task di addestramento: il meta-RL tende ad adattarsi bene alle variazioni dei task di addestramento e male a task strutturalmente diversi.

Perché è importante

I robot incontrano continuamente variazioni: oggetti, carichi utili, terreni e usura diversi. Il meta-RL è uno dei principali approcci per far sì che i controllori appresi si adattino rapidamente a questi cambiamenti invece di essere riaddestrati da zero, e le stesse idee sono alla base dei moduli di adattamento online usati nella locomozione sim-to-real.

Applicazioni principali

  • Adattamento rapido delle abilità di manipolazione a nuovi obiettivi e oggetti
  • Adattamento dei controllori di locomozione a cambiamenti di carico utile o di terreno o a danni
  • Adattamento online di modelli dinamici appresi nel controllo basato su modello
  • Valutazione della generalizzazione con famiglie di task come Meta-World
  • Imitazione e adattamento few-shot a partire da piccole quantità di dati del robot

In pratica

Un gruppo di ricerca vuole un braccio robotico capace di apprendere una nuova abilità di manipolazione da una manciata di prove. In simulazione costruisce una famiglia di task con posizioni degli oggetti e obiettivi randomizzati su diversi tipi di task e addestra un agente meta-RL basato sul contesto che si condiziona su una variabile di task latente inferita dalle transizioni recenti. Al momento del test, su un obiettivo tenuto da parte, il robot raccoglie pochi episodi esplorativi, l'encoder aggiorna la sua stima del task e la policy migliora senza alcun aggiornamento del gradiente. Il gruppo riporta il successo separatamente sulle variazioni tenute da parte dei task di addestramento e su tipi di task del tutto nuovi, poiché le prestazioni su questi ultimi sono di solito molto più basse.

Idee sbagliate comuni

  • Il meta-RL apprende una policy in grado di fare qualsiasi cosa — si adatta ai task della distribuzione di addestramento e di solito generalizza male a task con una struttura diversa
  • Meta-RL e RL multi-task sono la stessa cosa — l'RL multi-task ottimizza le prestazioni su un insieme noto di task, mentre il meta-RL ottimizza la velocità di adattamento a task nuovi
  • Adattarsi significa sempre fare fine-tuning dei pesi — i metodi basati sul contesto si adattano soltanto aggiornando uno stato nascosto o una variabile latente, senza passi di gradiente al momento del test

Chi dovrebbe saperlo

  • Ricercatori di apprendimento robotico che lavorano su generalizzazione e adattamento
  • Professionisti dell'apprendimento per rinforzo che progettano distribuzioni di task
  • Ingegneri che sviluppano controllori adattivi di locomozione e manipolazione
  • Studenti di dottorato e magistrale in apprendimento automatico per la robotica

Tecnologie correlate

  • Model-Agnostic Meta-Learning (MAML)
  • RL²
  • PEARL
  • Meta-World
  • Reti neurali ricorrenti (Recurrent Neural Networks)

Termini correlati

  • Multi-Task Reinforcement Learning
  • Reinforcement Learning
  • Partially Observable Markov Decision Process (POMDP)
  • Lifelong Robot Learning
  • Domain Randomization
  • Teacher-Student Training

Progetti correlati

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Video

  • Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.