Actor-Critic

Auch genannt: actor-critic methods, actor-critic algorithm
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, policy-gradient, value-function, deep-learning, robot-learning

Eine Familie von Methoden des Reinforcement Learning, die zwei Teile gemeinsam trainieren: einen Actor, die Policy, die Aktionen wählt, und einen Critic, eine gelernte Wertfunktion, mit der diese Aktionen bewertet und verbessert werden.

Definition

Actor-Critic-Methoden sind eine Familie von Algorithmen des Reinforcement Learning, die Policy-Lernen mit Wertlernen verbinden. Der Actor ist die Policy, eine Funktion, die den aktuellen Zustand oder die aktuelle Beobachtung auf eine Aktion oder auf eine Verteilung über Aktionen abbildet. Der Critic ist eine gelernte Schätzung, wie gut Zustände oder Aktionen sind: eine Zustandswertfunktion V(s), eine Aktionswertfunktion Q(s, a) oder eine Vorteilsfunktion (advantage function), die misst, um wie viel eine Aktion besser ist als der Durchschnitt der Policy. Der Critic wird aus Erfahrung trainiert, meist mit Temporal-Difference-Lernen, und der Actor wird in die Richtung aktualisiert, von der der Critic anzeigt, dass sie den erwarteten Return erhöht.

Die Idee geht auf die Arbeit von Barto, Sutton und Anderson aus dem Jahr 1983 zum Erlernen des Balancierens eines Stabes zurück, und Konda und Tsitsiklis lieferten um 2000 eine formale Analyse von Actor-Critic-Algorithmen und ihrer Konvergenz. Die Motivation ist die Verringerung der Varianz. Reine Policy-Gradient-Methoden wie REINFORCE gewichten jede Aktion mit dem vollen beobachteten Return, der sehr verrauscht ist; ersetzt man diesen Return durch die Schätzung eines Critic oder zieht man eine gelernte Baseline ab, um einen Vorteil zu bilden, erhält man Aktualisierungen mit weit geringerer Varianz, um den Preis einer gewissen Verzerrung durch die Fehler des Critic. Techniken wie Generalized Advantage Estimation lassen den Anwender diesen Kompromiss zwischen Verzerrung und Varianz einstellen.

Das meiste tiefe Reinforcement Learning, das in der Robotik eingesetzt wird, ist Actor-Critic. On-Policy-Varianten wie A2C und Proximal Policy Optimization (PPO) trainieren einen stochastischen Actor mit einer gelernten Wert-Baseline und werden häufig für die Fortbewegung in massiv paralleler Simulation verwendet. Off-Policy-Varianten wie DDPG, TD3 und Soft Actor-Critic (SAC) lernen eine Q-Funktion aus einem Replay-Puffer und aktualisieren den Actor, indem sie dem Gradienten des Critic folgen. Das nutzt Daten effizienter und eignet sich für das Training auf echter Hardware. Da der Critic nur während des Trainings gebraucht wird, kann er Informationen nutzen, die der eingesetzte Actor nie sieht; darauf beruht das asymmetrische Actor-Critic-Training.

Warum es wichtig ist

Die Actor-Critic-Struktur macht tiefes Reinforcement Learning stabil genug für die Robotersteuerung. Zu wissen, welcher Teil was tut, erklärt die meisten praktischen Abstimmungsentscheidungen, von Gewichten des Wertverlusts und der Normalisierung der Vorteile bis zu der Frage, warum man einem Critic privilegierten Simulatorzustand geben kann, und es ist das gemeinsame Vokabular hinter PPO, SAC und ihren Varianten.

Wichtige Anwendungen

In der Simulation mit PPO trainierte Policies für Beinfortbewegung
Sample-effizientes Lernen auf echten Roboterarmen mit SAC oder TD3
Geschickte In-Hand-Manipulation mit Critics, die privilegierte Informationen erhalten
Steuerungs-Policies für Drohnen und Quadrokopter
Aus Belohnungssignalen gelernte Kamera- und Blickpunktsteuerung
Feinabstimmung von Policies, die durch Imitation Learning vortrainiert wurden

In der Praxis

Ein Team trainiert eine Laufpolicy für einen Vierbeiner mit PPO in einem GPU-Simulator, der Tausende Umgebungen parallel ausführt. Der Actor ist ein kleines mehrschichtiges Perzeptron, das propriozeptive Beobachtungen erhält und den Mittelwert einer Gauß-Verteilung über Gelenkpositionsziele ausgibt. Der Critic ist ein separates Netz, das dieselben Beobachtungen plus privilegierte Größen wie die wahre Basisgeschwindigkeit, Geländehöhen und Reibung erhält und den erwarteten diskontierten Return vorhersagt. Nach jedem Rollout kombiniert Generalized Advantage Estimation die Vorhersagen des Critic mit den beobachteten Belohnungen, der Actor wird mit dem geclippten PPO-Ziel aktualisiert, und der Critic wird auf die berechneten Returns regressiert. Die Ingenieure beobachten die erklärte Varianz des Critic: Bleibt sie niedrig, sind die Vorteile größtenteils Rauschen, und der Actor verbessert sich nicht mehr. Nur der Actor wird auf den Bordcomputer des Roboters exportiert.

Häufige Missverständnisse

Der Critic ist Teil des eingesetzten Reglers — nur der Actor läuft auf dem Roboter; der Critic existiert, um ihn zu trainieren
Die Werte des Critic messen den Aufgabenerfolg genau — sie sind gelernte Näherungen, die verzerrt sein können, und die Überschätzung der Q-Funktion ist ein bekannter Fehler, dem TD3 und SAC mit Zwillings-Critics begegnen
PPO ist keine Actor-Critic-Methode — Standardimplementierungen von PPO trainieren eine Wertfunktion als Baseline für die Vorteile und sind damit Actor-Critic
Actor-Critic bezeichnet einen einzigen Algorithmus — es ist eine Familie, die On-Policy- und Off-Policy-, stochastische und deterministische Methoden umfasst

Wer das wissen sollte

Praktiker des Reinforcement Learning, die mit physischen Robotern arbeiten
Ingenieure für Fortbewegung und Manipulation, die gelernte Regler einsetzen
Forscher im Roboterlernen, die Trainingspipelines entwerfen
Studierende, die von klassischer Regelung zu gelernter Regelung wechseln

Videos

Actor Critic Algorithms: Siraj Raval
Everything You Need To Master Actor Critic Methods | Tensorflow 2 Tutorial: Machine Learning with Phil

Open Source Robotics