Soft Actor-Critic

Auch genannt: SAC
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, off-policy, actor-critic, maximum-entropy, robot-learning, continuous-control

Ein Off-Policy-Algorithmus des Reinforcement Learning, der eine stochastische Policy darauf trainiert, sowohl Belohnung als auch Aktionsentropie zu maximieren, und dabei für Sample-Effizienz vergangene Erfahrung aus einem Replay-Buffer wiederverwendet.

Definition

Soft Actor-Critic (SAC) ist ein Off-Policy-Actor-Critic-Algorithmus des Reinforcement Learning für kontinuierliche Aktionsräume, den Tuomas Haarnoja und Kollegen 2018 vorgestellt haben. Er beruht auf dem Maximum-Entropy-Rahmen: Statt allein die erwartete Belohnung zu maximieren, maximiert die Policy die Belohnung plus einen Bonus für die Entropie, also die Zufälligkeit, ihrer Aktionen. Ein Temperaturparameter legt das Gleichgewicht zwischen beiden fest. Der Entropieterm fördert breite Exploration und verhindert, dass die Policy frühzeitig auf ein einziges Verhalten zusammenfällt.

SAC lernt eine stochastische Policy (den Actor), meist eine Gaußverteilung, deren Samples mit einer tanh-Funktion gestaucht werden, um Aktionsgrenzen einzuhalten, und zwei Q-Funktions-Critics. Das Minimum der beiden Critics bei der Berechnung der Lernziele zu nehmen, verringert die im Q-Learning verbreitete Überschätzungsverzerrung, eine Technik, die SAC mit dem Algorithmus TD3 teilt, und langsam aktualisierte Zielnetze stabilisieren das Lernen. Eine spätere Version von SAC passt die Temperatur automatisch an, um die Entropie der Policy nahe einem gewählten Zielwert zu halten, und beseitigt so einen der empfindlichsten Hyperparameter.

Da SAC off-policy ist, wird jeder Übergang, den der Roboter erlebt, in einem Replay-Buffer gespeichert und für viele Gradientenaktualisierungen wiederverwendet. Das macht ihn deutlich sample-effizienter als On-Policy-Methoden wie PPO, die Daten nach jeder Aktualisierung verwerfen. Diese Eigenschaft machte SAC zu einer häufigen Wahl für das Lernen direkt auf physischen Robotern, wo jede Minute Interaktion Zeit und Verschleiß kostet, und für Aufgaben, bei denen Simulation langsam oder nicht verfügbar ist.

Die Zielkonflikte liegen bei Rechenaufwand und Skalierung. SAC führt pro Umgebungsschritt viele Netzaktualisierungen durch und hat historisch weniger als PPO von massiv paralleler GPU-Simulation profitiert, in der frische Daten billig sind. Das Training kann außerdem in hochdimensionalen Aktionsräumen oder mit großen Netzen instabil werden, und laufende Forschung untersucht, wie sich Off-Policy-Methoden wie SAC auf viele parallele Umgebungen und auf Roboter mit vielen Gelenken skalieren lassen.

Warum es wichtig ist

SAC hat Deep Reinforcement Learning dort praktikabel gemacht, wo Daten teuer sind, einschließlich des Lernens direkt auf realer Roboterhardware. Er bleibt eine der Standard-Baselines für kontinuierliche Regelung, und seine entropieregularisierte Formulierung beeinflusst viele spätere Off-Policy- und modellbasierte Methoden.

Wichtige Anwendungen

Lernen auf realer Hardware — Training von Manipulations- und Lokomotionsfähigkeiten mit begrenzter Roboterzeit
Benchmarks für kontinuierliche Regelung — eine Standard-Baseline für simulierte Roboteraufgaben
Manipulation — Erlernen von Greif-, Schiebe- und Einsetz-Policies mit spärlichen oder gestalteten Belohnungen
Feinabstimmung vortrainierter Policies — Verbesserung per Behavior Cloning gelernter Policies mit Online-Reinforcement-Learning
Fahrzeug- und Drohnensteuerung — Erlernen kontinuierlicher Lenk- und Schubbefehle

In der Praxis

Ein Team, das SAC einsetzt, kapselt den Roboter oder Simulator typischerweise in einer Standard-Umgebungsschnittstelle, wählt eine Bibliotheksimplementierung wie Stable-Baselines3 und legt Größe des Replay-Buffers, Batchgröße, Lernraten sowie das Verhältnis von Gradientenaktualisierungen zu Umgebungsschritten fest. Beim Lernen auf Hardware ergänzt es Sicherheitsgrenzen für Aktionen, automatische Resets und Belohnungssignale, die sich mit Bordsensoren messen lassen, und befüllt den Replay-Buffer oft vorab mit Demonstrationen oder Daten aus früheren Läufen. Ingenieure beobachten den Critic-Verlust, den Temperaturwert und die Entropie der Policy; eine Temperatur, die auf nahezu null fällt, oder Critic-Schätzungen, die unbegrenzt wachsen, sind häufige Anzeichen dafür, dass das Training angepasst werden muss.

Häufige Missverständnisse

SAC ist immer besser als PPO — SAC ist sample-effizienter, aber PPO trainiert in Echtzeit gemessen oft schneller, wenn Tausende simulierter Umgebungen parallel laufen
Der Entropiebonus macht die endgültige Policy zufällig — im Einsatz wird meist die mittlere Aktion verwendet, und die automatische Temperaturanpassung senkt die Entropie mit fortschreitendem Lernen
SAC behandelt diskrete Aktionen unverändert — der Standardalgorithmus zielt auf kontinuierliche Aktionen; diskrete Varianten erfordern Anpassungen
Off-Policy heißt, dass beliebige alte Daten funktionieren — Daten, die weit vom Verhalten der aktuellen Policy entfernt sind, können trotzdem instabile Wertschätzungen verursachen, besonders in vollständig offline betriebenen Settings

Wer das wissen sollte

Forschende im Roboterlernen, die auf physischer Hardware trainieren
Praktiker des Reinforcement Learning, die an kontinuierlicher Regelung arbeiten
Manipulationsingenieure, die Online-Feinabstimmung einsetzen
Studierende, die Actor-Critic-Methoden lernen

Videos

L5 DDPG and SAC (Foundations of Deep RL Series): Pieter Abbeel

Open Source Robotics