MetaWorld

Multi-Task- und Meta-RL-Benchmark für robotische Manipulation

Lizenz

MIT

Überblick

Ein Open-Source-Benchmark für Multi-Task- und Meta-Reinforcement-Learning mit Schwerpunkt auf robotischen Manipulationsaufgaben mit kontinuierlicher Steuerung. Bietet standardisierte Protokolle für Meta-Learning (ML1, ML10 und ML45 mit 1, 10 oder 45 Trainingsaufgaben) und Multi-Task-Learning (MT10 und MT50). Integriert sich in die Gymnasium-API und unterstützt parallele Ausführung.

MetaWorld ist eine umfassende Benchmark-Suite zur Bewertung von Multi-Task-Reinforcement-Learning- und Meta-Learning-Algorithmen im Bereich der robotischen Manipulation mit kontinuierlicher Steuerung. Der Benchmark bietet Meta-Learning-Protokolle mit 1, 10 oder 45 Trainingsaufgaben (ML1, ML10, ML45) und Multi-Task-Protokolle bis hin zu allen 50 Aufgaben (MT50). So können Forschende systematisch untersuchen, wie Lernalgorithmen mit zunehmender Vielfalt und Komplexität der Aufgaben skalieren. MetaWorld basiert auf dem Gymnasium-API-Standard, bietet RL-Anwendern vertraute Schnittstellen und unterstützt die effiziente parallele Ausführung mehrerer Umgebungen. Die Aufgabensammlung deckt ein breites Spektrum an Manipulationsprimitiven und Szenarien ab und ermöglicht die Untersuchung von Generalisierung, Transfer Learning und Few-Shot-Anpassung in der Robotersteuerung – eine entscheidende Fähigkeit für anpassungsfähige Robotersysteme, die mit der Vielfalt realer Manipulationsaufgaben zurechtkommen müssen.

Warum es wichtig ist

MetaWorld ist der am weitesten verbreitete Benchmark für Multi-Task- und Meta-Reinforcement-Learning in der Manipulation. Seine Suite mit 50 Aufgaben ist zum Standard geworden, um zu bewerten, ob RL-Algorithmen über vielfältige Manipulationsfähigkeiten hinweg lernen und transferieren können.

Welches Problem es löst

Der Multi-Task-RL-Forschung fehlte ein Standard-Benchmark mit genügend Aufgabenvielfalt, um Generalisierung aussagekräftig zu bewerten. MetaWorld bietet 50 Aufgaben mit standardisierten Protokollen, die zeigen, ob Algorithmen tatsächlich übertragbare Manipulationsfähigkeiten erlernen.

Wichtigste Punkte

• 50 verschiedene Manipulationsaufgaben mit einem gemeinsamen Sawyer-Roboter-Setup
• Drei Benchmark-Protokolle: ML1, ML10, ML45 für unterschiedliche Evaluierungsgrößen
• Speziell für die Evaluierung von Multi-Task- und Meta-Learning-Algorithmen entwickelt
• Einheitliche Beobachtungs- und Aktionsräume über alle Aufgaben hinweg
• Basiert auf MuJoCo für schnelle, zuverlässige Simulation

Für wen

• Forschende im Bereich Multi-Task- und Meta-Reinforcement-Learning
• Teams, die Algorithmen für kontinuierliches Lernen entwickeln
• Entwickler, die Aufgabentransfer und Generalisierung evaluieren
• Studierende, die fortgeschrittenes RL für die Manipulation lernen

Einschränkungen

• Alle Aufgaben verwenden denselben Sawyer-Roboter — keine Cross-Embodiment-Evaluierung
• Die Aufgabendefinitionen sind im Vergleich zur realen Manipulation relativ einfach
• Zustandsbasierte Beobachtungen dominieren — visionsbasierte Evaluierung ist zweitrangig
• Belohnungsfunktionen lassen sich mitunter ausnutzen, ohne die Aufgaben korrekt zu lösen