MetaWorld

Benchmark di RL multi-task e meta-RL per la manipolazione robotica

Licenza

MIT

Panoramica

Un benchmark open source per l'apprendimento per rinforzo multi-task e meta-RL, incentrato su compiti di manipolazione robotica a controllo continuo. Fornisce protocolli standardizzati per il meta-learning (ML1, ML10 e ML45, con 1, 10 o 45 compiti di addestramento) e per l'apprendimento multi-task (MT10 e MT50). Si integra con l'API Gymnasium e supporta l'esecuzione parallela.

MetaWorld è una suite di benchmark completa progettata per valutare algoritmi di apprendimento per rinforzo multi-task e di meta-learning in domini di manipolazione robotica a controllo continuo. Il benchmark offre protocolli di meta-learning con 1, 10 o 45 compiti di addestramento (ML1, ML10, ML45) e protocolli multi-task fino a tutti i 50 compiti (MT50), e permette ai ricercatori di studiare in modo sistematico come gli algoritmi di apprendimento scalano con l'aumentare della diversità e della complessità dei compiti. Costruito sullo standard dell'API Gymnasium, MetaWorld offre interfacce familiari ai professionisti dell'RL e supporta l'esecuzione parallela efficiente di più ambienti. La suite di compiti copre un'ampia gamma di primitive e scenari di manipolazione, creando occasioni per studiare la generalizzazione, il transfer learning e l'adattamento few-shot nel controllo robotico, una capacità cruciale per impiegare sistemi robotici adattabili in grado di affrontare la varietà delle sfide di manipolazione del mondo reale.

Perché è importante

MetaWorld è il benchmark più usato per l'apprendimento per rinforzo multi-task e meta-RL nella manipolazione. La sua suite di 50 compiti è diventata il modo standard per valutare se gli algoritmi di RL sanno imparare e trasferire competenze tra abilità di manipolazione diverse.

Il problema che risolve

Alla ricerca sull'RL multi-task mancava un benchmark standard con una diversità di compiti sufficiente a valutare in modo significativo la generalizzazione. MetaWorld fornisce 50 compiti con protocolli standardizzati che rivelano se gli algoritmi imparano davvero abilità di manipolazione trasferibili.

Punti chiave

• 50 compiti di manipolazione distinti che condividono una configurazione comune con il robot Sawyer
• Tre protocolli di benchmark, ML1, ML10 e ML45, per diverse scale di valutazione
• Progettato specificamente per valutare algoritmi multi-task e di meta-learning
• Spazi di osservazione e di azione coerenti in tutti i compiti
• Costruito su MuJoCo per una simulazione veloce e affidabile

A chi si rivolge

• Ricercatori di apprendimento per rinforzo multi-task e meta-RL
• Team che sviluppano algoritmi di apprendimento continuo
• Sviluppatori che valutano il trasferimento tra compiti e la generalizzazione
• Studenti di RL avanzato per la manipolazione

Limiti

• Tutti i compiti usano lo stesso robot Sawyer: nessuna valutazione cross-embodiment
• Le definizioni dei compiti sono relativamente semplici rispetto alla manipolazione nel mondo reale
• Prevalgono le osservazioni basate sullo stato: la valutazione basata sulla visione è secondaria
• Le funzioni di ricompensa possono a volte essere sfruttate senza risolvere correttamente i compiti