Meta-Reinforcement Learning
- Auch genannt: meta-RL
- Kategorie: Learning & autonomy › RL & simulation
- Schlagwörter: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
Reinforcement Learning, das auf vielen verwandten Aufgaben trainiert, sodass der Agent lernt, sich anzupassen, und eine neue Aufgabe derselben Familie mit nur wenig Erfahrung lösen kann.
Definition
Meta-Reinforcement-Learning (meta-RL) behandelt das Lernen selbst als das, was gelernt werden soll. Statt eine Policy für eine einzelne Aufgabe zu trainieren, wird der Agent über eine Verteilung verwandter Aufgaben trainiert, zum Beispiel das Erreichen verschiedener Ziele, das Schieben von Objekten unterschiedlicher Masse oder das Öffnen verschiedener Türen. Ziel ist, dass er sich bei einer neuen Aufgabe aus derselben Verteilung mit wenig neuer Erfahrung, oft wenigen Episoden, anpassen kann, statt von Grund auf zu lernen. Das Training ist in eine innere Schleife, die sich an eine Aufgabe anpasst, und eine äußere Schleife aufgeteilt, die das Anpassungsverfahren über die Aufgaben hinweg verbessert.
Drei Familien von Methoden sind verbreitet. Gradientenbasierte Methoden wie Model-Agnostic Meta-Learning (MAML, Finn, Abbeel und Levine, 2017) lernen anfängliche Netzgewichte, aus denen wenige Gradientenschritte auf der neuen Aufgabe eine gute Policy ergeben. Rekurrente oder kontextbasierte Methoden wie RL² (Duan et al., 2016) speisen die Historie von Zuständen, Aktionen und Belohnungen in ein rekurrentes Netz oder ein anderes Sequenzmodell ein, dessen verborgener Zustand das über die aktuelle Aufgabe Gelernte trägt, sodass die Anpassung ohne Gradientenupdates erfolgt. Methoden der latenten Aufgabeninferenz wie PEARL (Rakelly et al., 2019) lernen einen Encoder, der aus Erfahrung eine probabilistische Aufgabenvariable erschließt, und konditionieren die Policy darauf, was auch Off-Policy-Training ermöglicht.
Meta-RL ist eng mit Entscheidungsfindung unter partieller Beobachtbarkeit verwandt: Die unbekannte Aufgabe lässt sich als verborgener Teil des Zustands auffassen, den der Agent durch Handeln erschließen muss. Es unterscheidet sich von Multi-Task-Reinforcement-Learning, das eine einzelne Policy darauf trainiert, eine bekannte, feste Menge von Aufgaben gut auszuführen, meist mit gegebener Aufgabenidentität, und die Anpassung an ungesehene Aufgaben nicht misst. Benchmarks wie Meta-World testen beide Settings auf derselben Menge von Manipulationsaufgaben. Die Ergebnisse hängen stark davon ab, wie breit die Verteilung der Trainingsaufgaben ist: Meta-RL passt sich tendenziell gut an Variationen der Trainingsaufgaben an und schlecht an strukturell andere Aufgaben.
Warum es wichtig ist
Roboter begegnen ständig Variation: unterschiedlichen Objekten, Nutzlasten, Untergründen und Verschleiß. Meta-RL ist einer der wichtigsten Ansätze, gelernte Regler sich schnell an solche Änderungen anpassen zu lassen, statt sie von Grund auf neu zu trainieren, und dieselben Ideen liegen Online-Anpassungsmodulen zugrunde, die bei Sim-to-Real-Fortbewegung eingesetzt werden.
Wichtige Anwendungen
- Schnelle Anpassung von Manipulationsfähigkeiten an neue Ziele und Objekte
- Anpassung von Fortbewegungsreglern an veränderte Nutzlasten, Untergründe oder Schäden
- Online-Anpassung gelernter Dynamikmodelle in der modellbasierten Regelung
- Benchmarking der Generalisierung mit Aufgabenfamilien wie Meta-World
- Few-Shot-Imitation und -Anpassung aus kleinen Mengen von Roboterdaten
In der Praxis
Ein Forschungsteam möchte einen Roboterarm, der eine neue Manipulationsfähigkeit aus einer Handvoll Versuche lernen kann. In der Simulation baut es eine Aufgabenfamilie mit randomisierten Objektpositionen und Zielen über mehrere Aufgabentypen und trainiert einen kontextbasierten Meta-RL-Agenten, der auf eine aus den letzten Transitionen erschlossene latente Aufgabenvariable konditioniert. Zur Testzeit auf einem zurückgehaltenen Ziel sammelt der Roboter einige explorative Episoden, der Encoder aktualisiert seine Schätzung der Aufgabe, und die Policy verbessert sich ohne jedes Gradientenupdate. Das Team berichtet den Erfolg getrennt für zurückgehaltene Variationen der Trainingsaufgaben und für völlig neue Aufgabentypen, da die Leistung bei Letzteren meist deutlich niedriger ist.
Häufige Missverständnisse
- Meta-RL lernt eine Policy, die alles kann — es passt sich an Aufgaben aus der Trainingsverteilung an und generalisiert meist schlecht auf Aufgaben mit anderer Struktur
- Meta-RL und Multi-Task-RL sind dasselbe — Multi-Task-RL optimiert die Leistung auf einer bekannten Menge von Aufgaben, Meta-RL dagegen die Geschwindigkeit der Anpassung an neue Aufgaben
- Anpassung bedeutet immer Feinabstimmung von Gewichten — kontextbasierte Methoden passen sich allein durch Aktualisieren eines verborgenen Zustands oder einer latenten Variablen an, ohne Gradientenschritte zur Testzeit
Wer das wissen sollte
- Forscher im Roboterlernen, die an Generalisierung und Anpassung arbeiten
- Praktiker im Reinforcement Learning, die Aufgabenverteilungen entwerfen
- Ingenieure, die adaptive Regler für Fortbewegung und Manipulation entwickeln
- Masterstudierende und Promovierende im maschinellen Lernen für die Robotik
Verwandte Technologien
- Model-Agnostic Meta-Learning (MAML)
- RL²
- PEARL
- Meta-World
- Rekurrente neuronale Netze (Recurrent Neural Networks)
Verwandte Begriffe
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
Videos
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing