Hindsight Experience Replay (HER)
- Auch genannt: HER
- Kategorie: Learning & autonomy › RL & simulation
- Schlagwörter: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
Eine Technik für zielkonditioniertes Reinforcement Learning, die fehlgeschlagene Episoden mit den tatsächlich erreichten Zielen des Agenten umetikettiert und so Fehlschläge bei spärlicher Belohnung in nützliche Trainingsdaten verwandelt.
Definition
Hindsight Experience Replay (HER) adressiert ein häufiges Problem im Roboterlernen: Bei einer spärlichen Belohnung, die nur beim Erreichen eines Ziels vergeben wird, hat ein zufällig handelnder Roboter fast nie Erfolg und erhält daher kein Lernsignal. HER, 2017 von Andrychowicz et al. vorgestellt, verwendet jede fehlgeschlagene Episode wieder, indem es im Nachhinein so tut, als wäre das Ziel das gewesen, was der Agent tatsächlich erreicht hat. Eine Episode, in der ein Block zu Punkt A geschoben werden sollte, er aber bei Punkt B liegen blieb, wird zu einem erfolgreichen Beispiel dafür, den Block zu Punkt B zu schieben.
Die Methode arbeitet mit zielkonditionierten (goal-conditioned) Policies und Wertfunktionen, die sowohl den Zustand als auch das gewünschte Ziel als Eingabe erhalten, und mit Off-Policy-Algorithmen wie DDPG, TD3 oder SAC, die aus einem Replay-Buffer lernen. Jede gespeicherte Transition wird mit einem ersetzten Ziel und einer für dieses Ziel neu berechneten Belohnung kopiert. Für die Wahl des Ersatzziels gibt es mehrere Strategien: den Endzustand der Episode, einen zufälligen Zustand aus derselben Episode oder, am häufigsten, einen später in derselben Episode erreichten Zustand (die "future"-Strategie). Da die Belohnung für jedes Ziel neu berechnet werden muss, benötigt HER eine Belohnungsfunktion, die sich für beliebige Ziele auswerten lässt, typischerweise ob das erreichte Ziel innerhalb einer Toleranz um das gewünschte liegt.
HER wirkt wie ein implizites Curriculum: Anfangs sind die umetikettierten Ziele leichte Ziele in der Nähe dessen, wo der Roboter ohnehin landet, und während sich die Policy verbessert, breiten sich die erreichten Ziele aus und decken den Raum ab. Es hilft nicht, wenn sich das Ziel nicht aus dem erreichten Zustand ablesen lässt, wenn die Belohnungen von mehr als dem Endergebnis abhängen, oder bei On-Policy-Algorithmen, die alte Daten nicht wiederverwenden können. Das Umetikettieren verzerrt zudem die Zielverteilung im Buffer, was spätere Arbeiten auf verschiedene Weise untersucht und korrigiert haben.
Warum es wichtig ist
Spärliche Erfolgsbelohnungen sind die natürlichste Art, viele Manipulationsaufgaben zu spezifizieren, doch direkt aus ihnen zu lernen ist sehr schwer. HER machte es praktikabel, Policies für Schieben, Gleiten und Pick-and-Place aus binären Belohnungen ohne von Hand geformte Belohnungsterme zu trainieren, und das Umetikettieren von Zielen ist seither ein Standardwerkzeug im zielkonditionierten Lernen.
Wichtige Anwendungen
- Schieben, Gleiten und Pick-and-Place mit Roboterarmen bei spärlicher Belohnung
- Training zielkonditionierter Policies, die beliebige Zielpositionen erreichen
- Lernen der Navigation zu Zielorten aus reinen Erfolgsbelohnungen
- Umetikettieren von Demonstrationen oder Spieldaten mit den Zielen, die sie tatsächlich erreicht haben
- Mehrziel-Benchmarks für Off-Policy-Reinforcement-Learning
In der Praxis
Ein Ingenieur trainiert einen simulierten Arm, einen Block an zufällig gewählten Zielpositionen abzusetzen, mit einer Belohnung von 0 bei Erfolg und -1 sonst. Ohne HER verbessert sich SAC kaum, weil der Block selten zufällig auf dem Ziel landet. Mit HER wird jede Transition zusätzlich mit Zielen gespeichert, die aus später in der Episode erreichten Blockpositionen gezogen werden, und die Belohnung wird als Erfolg neu berechnet, wenn der Block wenige Zentimeter vom ersetzten Ziel entfernt liegt. Der Ingenieur prüft, dass die Beobachtung das erreichte Ziel (die Blockposition) klar vom gewünschten Ziel trennt, damit der Umetikettierungscode das eine gegen das andere austauschen kann.
Häufige Missverständnisse
- HER funktioniert mit jedem Reinforcement-Learning-Algorithmus — es beruht auf der Wiederverwendung gespeicherter Transitionen und passt daher zu Off-Policy-Methoden wie DDPG, TD3 und SAC, nicht zu On-Policy-Methoden wie PPO
- HER macht jedes Belohnungsdesign überflüssig — es braucht weiterhin eine Belohnung, die sich für jedes Ziel berechnen lässt, und eine klare Festlegung, welcher Teil des Zustands als erreichtes Ziel gilt
- Umetikettierte Daten sind unverzerrt — das Ersetzen durch erreichte Ziele verändert die Verteilung von Zielen und Ergebnissen im Buffer, was Wertschätzungen verzerren kann
Wer das wissen sollte
- Praktiker im Reinforcement Learning, die an Manipulation arbeiten
- Forscher im Roboterlernen, die spärliche oder binäre Belohnungen verwenden
- Ingenieure, die zielkonditionierte Policies entwickeln
- Studierende, die Off-Policy-Lernalgorithmen implementieren
Verwandte Technologien
- Deep Deterministic Policy Gradient (DDPG)
- Twin Delayed DDPG (TD3)
- Replay-Buffer (Replay Buffer)
- Universal Value Function Approximators
- Gymnasium-Robotics
Verwandte Begriffe
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
Verwandte Projekte
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
Videos
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers