Asymmetric Actor-Critic

Auch genannt: asymmetric critic, privileged critic
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

Ein Actor-Critic-Aufbau des Reinforcement Learning, bei dem der Critic auf privilegiertem Simulatorzustand trainiert wird, während der Actor nur Beobachtungen nutzt, die der reale Roboter haben wird.

Definition

Asymmetrisches Actor-Critic (Asymmetric Actor-Critic) ist eine Methode, eine Policy mit einem Actor-Critic-Algorithmus des Reinforcement Learning zu trainieren, wenn die Trainingsumgebung mehr weiß als der eingesetzte Roboter wissen wird. Der Actor, aus dem die eingesetzte Policy wird, erhält nur realistische Beobachtungen wie Kamerabilder, Gelenk-Drehgeber oder verrauschte Schätzungen der Objektpose. Der Critic, der den Wert von Zuständen schätzt und nur dazu da ist, während des Trainings die Varianz des Policy-Gradienten zu verringern, erhält zusätzliche privilegierte Informationen: exakte Objektposen und -geschwindigkeiten, Kontaktkräfte, Reibungskoeffizienten und weiteren Simulatorzustand. Pinto und Kollegen führten den Begriff 2018 für bildbasiertes Roboterlernen ein, bei dem der Actor Bilder und der Critic den vollständigen Zustand sah.

Die Idee funktioniert, weil der Critic nach dem Training verworfen wird. Nichts von dem, was er verarbeitet, muss am realen Roboter gemessen werden, sodass man ihm alles geben kann, was die Wertschätzung am einfachsten macht. Ein Critic mit vollständigem Zustand lernt schneller und genauer als einer, der verborgene Größen aus Teilbeobachtungen erschließen muss, und gibt dem Actor so bessere Lernsignale. Der Ansatz passt natürlich zu On-Policy-Methoden wie PPO, das in Isaac Gym für die Umorientierung in der Hand eingesetzt wurde, und zu Off-Policy-Methoden wie DDPG oder SAC.

Asymmetrisches Actor-Critic unterscheidet sich vom Teacher-Student-Training. Beim Teacher-Student-Training wird zuerst eine separate Teacher-Policy mit privilegierten Eingaben trainiert und dann in einen Student destilliert, der nur reale Beobachtungen sieht. Beim asymmetrischen Actor-Critic gibt es eine einzige Policy, die direkt durch Reinforcement Learning auf realistischen Eingaben trainiert wird; nur die Wertfunktion ist privilegiert. Beides wird oft kombiniert. Eine Feinheit besteht darin, dass unter partieller Beobachtbarkeit ein Critic, der nur auf den wahren Zustand konditioniert ist, verzerrte Wertschätzungen für eine Policy liefern kann, die auf Grundlage der Beobachtungshistorie handelt; daher speisen viele Implementierungen den Critic sowohl mit dem privilegierten Zustand als auch mit den Beobachtungen des Actors.

Warum es wichtig ist

Sim-to-Real-Reinforcement-Learning braucht Policies, die mit realen Sensoren laufen, doch das Lernen aus unvollständigen, verrauschten Beobachtungen ist langsam und instabil. Dem Critic privilegierten Simulatorzustand zu geben ist eine kleine Änderung an Standardalgorithmen, die das Training oft deutlich schneller und zuverlässiger macht, ohne etwas hinzuzufügen, das der eingesetzte Roboter messen muss.

Wichtige Anwendungen

Umorientierung von Objekten in der Hand mit geschickten Roboterhänden
In der Simulation trainierte bildbasierte Manipulations-Policies
Policies für Beinfortbewegung, trainiert mit privilegierten Gelände- und Kontaktinformationen
Sim-to-Real-Reinforcement-Learning mit GPU-parallelen Simulatoren
Teilweise beobachtbare Regelungsaufgaben, bei denen der Simulator verborgenen Zustand offenlegt

In der Praxis

Ein Team trainiert eine mehrfingrige Hand in einem GPU-Simulator mit PPO darauf, Objekte umzuorientieren. Das Actor-Netz erhält Fingerspitzenpositionen, Gelenkwinkel und eine Schätzung der Objektpose mit zusätzlichem Rauschen und zusätzlicher Latenz, passend zu dem, was ein kamerabasierter Posentracker auf der Hardware liefern wird. Das Critic-Netz erhält dieselben Eingaben und zusätzlich die exakte Objektpose, die Linear- und Winkelgeschwindigkeit, die Zielorientierung sowie die randomisierten Reibungs- und Massewerte für diese Umgebung. Beide Netze teilen sich dieselben Rollouts und werden gemeinsam aktualisiert. Beim Einsatz werden nur die Gewichte des Actors auf den Roboterrechner exportiert; der Critic und die nur im Simulator verfügbaren Eingaben werden nie wieder benötigt.

Häufige Missverständnisse

Die eingesetzte Policy nutzt den privilegierten Zustand — nur der Critic sieht ihn während des Trainings, und der Critic wird beim Einsatz verworfen
Es ist dasselbe wie Teacher-Student-Training — Teacher-Student trainiert eine privilegierte Policy und destilliert sie, während asymmetrisches Actor-Critic direkt eine realistische Policy mit einer privilegierten Wertfunktion trainiert
Ein Critic, der nur den Zustand sieht, ist immer korrekt — unter partieller Beobachtbarkeit kann er die Wertschätzung für einen beobachtungsbasierten Actor verzerren, weshalb Critics oft zusätzlich die Beobachtungen des Actors erhalten

Wer das wissen sollte

Reinforcement-Learning-Ingenieure, die an Sim-to-Real-Transfer arbeiten
Forschende zur geschickten Manipulation (Dexterous Manipulation)
Entwickler von Beinfortbewegung, die Policies in der Simulation trainieren
Simulationsingenieure, die Beobachtungsräume für das Training entwerfen

Open Source Robotics