Multi-Task Reinforcement Learning
- Auch genannt: multi-task RL, MTRL
- Kategorie: Learning & autonomy › RL & simulation
- Schlagwörter: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning
Reinforcement Learning, das eine Policy, konditioniert auf einen Aufgabenbezeichner oder eine Aufgabenbeschreibung, darauf trainiert, eine feste Menge von Aufgaben gleichzeitig gut auszuführen.
Definition
Multi-Task-Reinforcement-Learning (multi-task reinforcement learning) trainiert einen einzigen Agenten darauf, mehrere Aufgaben zu lösen, statt für jede Aufgabe einen eigenen Agenten zu trainieren. Die Policy ist meist aufgabenkonditioniert (task-conditioned): Sie erhält neben dem Zustand einen One-Hot-Aufgabenbezeichner, ein Ziel, eine sprachliche Anweisung oder eine andere Aufgabenbeschreibung, und die Zielfunktion ist der durchschnittliche erwartete Return über die Aufgabenmenge. Die Hoffnung ist, dass die Aufgaben Struktur teilen, etwa wie der Arm bewegt oder ein Griff gegriffen wird, sodass Erfahrung aus einer Aufgabe den anderen hilft und die gemeinsame Policy weniger Daten braucht als die Aufgaben einzeln.
In der Praxis kann das Teilen auch schaden. Aufgaben können gegensätzliches Verhalten erfordern, ihre Belohnungen können sich in der Größenordnung stark unterscheiden, und Gradientenupdates einer Aufgabe können den Fortschritt bei einer anderen zunichtemachen, ein Problem, das als negativer Transfer (negative transfer) oder Gradienteninterferenz bekannt ist. Übliche Abhilfen sind das Normalisieren der Returns oder getrennte Wert-Heads pro Aufgabe, das Anpassen der Gradienten, damit Aufgaben nicht in Konflikt geraten, das Leiten von Aufgaben durch teilweise getrennte Netzmodule, das Ausbalancieren, wie oft jede Aufgabe gesampelt wird, und das Destillieren getrennt trainierter Experten-Policies in eine Student-Policy. Zielkonditioniertes Lernen ist ein Spezialfall, bei dem sich die Aufgaben nur im Ziel unterscheiden und dieselbe Belohnungsstruktur teilen.
Multi-Task-RL unterscheidet sich von Meta-Reinforcement-Learning. Multi-Task-RL wird auf den Aufgaben bewertet, auf denen es trainiert wurde, meist bei bekannter Aufgabenidentität; Meta-RL wird danach bewertet, wie schnell es sich an neue Aufgaben aus derselben Verteilung anpasst. Benchmarks wie Meta-World bieten beide Settings über dieselben Manipulationsaufgaben, was den Unterschied greifbar macht. Multi-Task-Training ist auch ein Baustein größerer Roboter-Policies, die aus Demonstrationsdaten auf vielen Aufgaben trainiert werden, auch wenn diese meist durch Imitation statt durch Reinforcement Learning trainiert werden.
Warum es wichtig ist
Nützliche Roboter brauchen viele Fähigkeiten, und für jede Fähigkeit eine eigene Policy zu trainieren und zu pflegen, skaliert nicht. Multi-Task-RL ist der Weg des Reinforcement Learning zu einem einzigen Regler, der viele Verhaltensweisen abdeckt, und beim Entwurf solcher Systeme ist es unerlässlich zu verstehen, wo das Teilen hilft und wo es Interferenz verursacht.
Wichtige Anwendungen
- Einzelne Policies für viele Manipulationsfähigkeiten auf dem Tisch
- Sprach- oder zielkonditionierte Roboterregler
- Destillieren mehrerer Experten-Policies in ein einsetzbares Netz
- Gemeinsame Fortbewegungs-Policies über Gangarten, Geschwindigkeiten oder Untergründe hinweg
- Benchmarking von Transfer und Interferenz zwischen Aufgaben
In der Praxis
Ein Team möchte eine einzige Policy, die mit einem Tischarm Schubladen öffnen, Knöpfe drücken und Wasserhähne drehen kann. Es trainiert in der Simulation einen aufgabenkonditionierten SAC-Agenten, bei dem ein One-Hot-Aufgabenvektor an die Beobachtung angehängt ist. Erste Läufe zeigen, dass die Policy zwei Aufgaben beherrscht und die anderen ignoriert, weil deren Belohnungen größer sind und die Updates dominieren. Das Team fügt pro Aufgabe eine eigene gelernte Temperatur hinzu, sampelt die Aufgaben in jedem Batch gleichmäßig und verfolgt den Erfolg pro Aufgabe statt nur den Durchschnitt, was die schwächeren Aufgaben anhebt, ohne die stärkeren zu bremsen.
Häufige Missverständnisse
- Training auf mehr Aufgaben hilft immer jeder Aufgabe — gegensätzliche Aufgaben können interferieren, und eine Multi-Task-Policy kann bei manchen Aufgaben schlechter abschneiden als Single-Task-Training
- Multi-Task-RL erzeugt einen Agenten, der sich an neue Aufgaben anpasst — es wird auf seinen Trainingsaufgaben bewertet; schnelle Anpassung an ungesehene Aufgaben ist das Ziel von Meta-RL
- Der durchschnittliche Return über die Aufgaben zeigt, wie gut die Policy funktioniert — ein hoher Durchschnitt kann Aufgaben verdecken, die die Policy nicht gelernt hat, daher sollte der Erfolg pro Aufgabe berichtet werden
Wer das wissen sollte
- Forscher im Roboterlernen, die Generalisten-Policies entwickeln
- Reinforcement-Learning-Ingenieure, die auf Aufgabensammlungen trainieren
- Manipulationsingenieure, die die Aufgabenkonditionierung entwerfen
- Studierende, die Multi-Task-, Meta- und lebenslanges Lernen vergleichen
Verwandte Technologien
- Meta-World
- Policy-Destillation (Policy Distillation)
- Gradient Surgery (PCGrad)
- Soft Actor-Critic
- Aufgaben-Embeddings (Task Embeddings)
Verwandte Begriffe
- Meta-Reinforcement Learning
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Lifelong Robot Learning
- Curriculum Learning
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim