Offline Reinforcement Learning

Auch genannt: batch reinforcement learning, batch RL, offline RL
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

Reinforcement Learning aus einem festen, zuvor gesammelten Datensatz von Transitionen, ohne weitere Interaktion mit der Umgebung während des Trainings.

Definition

Offline-Reinforcement-Learning (offline reinforcement learning) lernt eine Policy vollständig aus einem statischen Datensatz von Zuständen, Aktionen, Belohnungen und Folgezuständen, der vorab von Menschen, geskripteten Reglern oder früheren Policies gesammelt wurde. Anders als beim üblichen Online-RL kann der Agent während des Trainings keine neuen Aktionen ausprobieren und deren Ergebnis beobachten. Das Setting ist attraktiv für die Robotik, wo Interaktion mit der realen Welt langsam, teuer und manchmal unsicher ist und wo große Protokolle von Roboterdaten womöglich schon existieren. Anders als Imitation Learning nutzt Offline-RL die Belohnungen in den Daten und kann daher im Prinzip eine Policy lernen, die besser ist als das Verhalten, das die Daten erzeugt hat, etwa indem es gute Teile verschiedener Trajektorien kombiniert.

Die zentrale Schwierigkeit ist die Verteilungsverschiebung (distributional shift) zwischen der gelernten Policy und den Daten. Wertbasierte Methoden schätzen Q(s, a) durch Bootstrapping aus dem Wert der nächsten Aktion, die die gelernte Policy wählen würde. Kommt diese Aktion im Datensatz selten oder nie vor, ist ihre Wertschätzung unbeschränkt, und die Maximierung wählt tendenziell genau jene Aktionen, deren Werte fälschlich hoch sind. Online-RL korrigiert solche Fehler, indem es die Aktionen ausprobiert; Offline-RL kann das nicht. Offline-Methoden bleiben daher auf eine von mehreren Arten nah an den Daten: indem sie die Policy zur Verhaltens-Policy hin beschränken (wie BCQ, Fujimoto et al., 2019), Werte ungesehener Aktionen bestrafen (wie Conservative Q-Learning, Kumar et al., 2020), Abfragen von Aktionen außerhalb der Verteilung ganz vermeiden (wie Implicit Q-Learning, Kostrikov et al., 2021) oder einem Off-Policy-Actor-Critic-Verlust einen Behavior-Cloning-Term hinzufügen.

Die Ergebnisse hängen stark vom Datensatz ab: von seiner Abdeckung der Zustände und Aktionen, von der Qualität des Verhaltens, das ihn erzeugt hat, und davon, ob Belohnungen vorliegen oder nachträglich gelabelt werden müssen. Ein verbreiteter Ablauf ist Offline-Vortraining, gefolgt von einem begrenzten Maß an Online-Feinabstimmung. Offline-RL ist mit Off-Policy-RL verwandt, aber davon verschieden: Off-Policy-Algorithmen lernen aus Daten, die von anderen Policies erzeugt wurden, sammeln aber normalerweise weiter neue Daten und schneiden oft schlecht ab, wenn diese Sammlung aufhört.

Warum es wichtig ist

Die meisten Roboter können sich nicht Millionen von Versuch-und-Irrtum-Episoden auf der Hardware leisten, doch viele Teams besitzen Protokolle von Teleoperation, geskripteten Läufen und früheren Experimenten. Offline-RL ist die Familie von Methoden, die solche Daten sicher in Policies umwandeln sollen, und es erklärt, warum das bloße Ausführen eines Standard-Off-Policy-Algorithmus auf einem festen Datensatz oft scheitert.

Wichtige Anwendungen

Lernen von Manipulations-Policies aus protokollierten Teleoperations- und Skriptdaten
Vortraining von Roboter-Policies vor begrenzter Online-Feinabstimmung
Verbesserung gegenüber suboptimalen Demonstrationen mithilfe von Belohnungslabels
Lernen aus Daten in Settings, in denen Exploration unsicher ist, etwa beim Fahren
Wiederverwendung von Daten aus früheren Experimenten, statt sie zu verwerfen

In der Praxis

Ein Lagerteam besitzt monatelange Protokolle von Greifversuchen eines geskripteten Greifsystems, jeder mit Erfolg oder Misserfolg gelabelt. Statt neue Versuche durchzuführen, trainiert es auf den Protokollen einen Conservative-Q-Learning-Agenten mit dem Bild und dem Greiferzustand als Eingabe. Vor dem Einsatz vergleicht es die von der gelernten Policy gewählten Griffe mit der Datenverteilung und bewertet sie an einer kleinen Menge zurückgehaltener Objekte in einer beaufsichtigten Testzelle. Danach erlaubt es eine kurze Phase der Online-Feinabstimmung, während der ein Mensch den Roboter stoppen kann, wodurch verbleibende Fehler in selten gesehenen Situationen korrigiert werden.

Häufige Missverständnisse

Offline-RL ist nur Behavior Cloning auf einem Datensatz — es nutzt Belohnungen und kann die Daten übertreffen, während Behavior Cloning die darin enthaltenen Aktionen kopiert
Jeder Off-Policy-Algorithmus funktioniert offline — ohne frische Daten überschätzen Standard-Off-Policy-Methoden den Wert ungesehener Aktionen und kollabieren oft
Mehr Daten ergeben immer eine bessere Offline-Policy — Abdeckung und Qualität zählen; ein großer Datensatz nahezu identischen Verhaltens lässt wenig Raum für Verbesserung
Offline-RL braucht keine Bewertung am realen System — Offline-Schätzungen der Policy-Leistung sind unzuverlässig, daher sind reale oder sorgfältig simulierte Tests weiterhin nötig

Wer das wissen sollte

Forscher im Roboterlernen, die mit großen protokollierten Datensätzen arbeiten
Ingenieure mit Roboterflotten, die Betriebsdaten erzeugen
Praktiker im Reinforcement Learning, die von der Simulation zur Hardware wechseln
ML-Teams für autonomes Fahren und Manipulation

Videos

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL

Open Source Robotics