Teacher-Student Training

Auch genannt: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

Ein Trainingsschema, bei dem eine Teacher-Policy mit privilegierten Informationen, etwa dem wahren Simulatorzustand, in eine Student-Policy destilliert wird, die nur auf dem realen Roboter verfügbare Sensoren nutzt.

Definition

Teacher-Student-Training ist ein zweistufiger Ansatz des Roboterlernens, meist in der Simulation eingesetzt, der das Lernen dessen, was zu tun ist, vom Lernen trennt, wie man es aus realistischen Sensoren erschließt. In der ersten Stufe wird eine Teacher-Policy trainiert, meist mit Reinforcement Learning, wobei sie privilegierte Informationen erhält, die ein realer Roboter nicht hätte: exakte Geländehöhen, Reibungskoeffizienten, Objektposen, Kontaktzustände oder den vollständigen Simulatorzustand. Mit diesen Informationen ist die Aufgabe viel leichter zu lernen.

In der zweiten Stufe wird eine Student-Policy darauf trainiert, das Verhalten des Teachers nur mit Beobachtungen nachzubilden, die auf der Hardware verfügbar sind, etwa Gelenk-Drehgeber, eine IMU, Kamerabilder oder eine kurze Historie vergangener Beobachtungen. Da der Teacher in jedem Zustand abgefragt werden kann, wird der Student mit überwachtem Lernen trainiert, oft mit Datensammlung im Stil von DAgger, bei der der Student die Simulation steuert und der Teacher in jedem besuchten Zustand die richtige Aktion liefert. Der Student nutzt oft ein rekurrentes Netz oder einen Historien-Encoder, damit er verborgene Größen wie die Bodenreibung daraus erschließen kann, wie sich der Roboter bewegt hat.

Der Ansatz ist eng verwandt mit asymmetrischen Actor-Critic-Verfahren, bei denen nur der Critic den privilegierten Zustand sieht, und mit Policy-Destillation im Allgemeinen. Im autonomen Fahren wurde er 2019 von Chen et al. als „learning by cheating“ vorgestellt, und er wurde in der Fortbewegung auf Beinen weit verbreitet, nachdem Lee et al. 2020 auf diese Weise Regler für Vierbeiner trainiert und auf rauem natürlichem Gelände eingesetzt hatten.

Die Hauptbeschränkung ist, dass der Student nur so gut sein kann wie die Information, die seine Sensoren tragen: Verlässt sich der Teacher auf etwas, das der Student nicht erschließen kann, wird der Student zurückbleiben.

Warum es wichtig ist

Direkt aus verrauschten, unvollständigen Sensordaten mit Reinforcement Learning zu lernen, ist langsam und instabil. Teacher-Student-Training lässt das schwierige Regelungsproblem zuerst mit vollständiger Information lösen und überträgt diese Fähigkeit dann auf eine Policy, die auf einem realen Roboter laufen kann, was es zu einem Standardbestandteil von Sim-to-Real-Pipelines für Laufroboter und geschickte Hände gemacht hat.

Wichtige Anwendungen

Fortbewegung auf Beinen über raues Gelände, hauptsächlich mit Propriozeption
Geschickte In-Hand-Manipulation mit Policies, die zuerst auf dem vollständigen Objektzustand trainiert wurden
Bildbasierte Navigations- und Fahr-Policies, destilliert aus zustandsbasierten Experten
Sim-to-Real-Transfer, wenn wichtige physikalische Parameter auf der Hardware nicht messbar sind

In der Praxis

Ein Team, das einen Regler für einen Vierbeiner in einem GPU-Simulator wie Isaac Lab trainiert, trainiert zuerst einen Teacher mit PPO und gibt ihm Propriozeption plus privilegierte Geländeproben und Kontaktinformationen, mit Domain Randomization über Reibung und Nutzlast. Sobald der Teacher zuverlässig ist, trainiert es einen Student, der nur die propriozeptive Historie erhält, manchmal mit verrauschter Höhenkarte oder Tiefeneingabe, um die Aktionen oder latenten Merkmale des Teachers nachzubilden. Die Trainingsdaten entstehen, indem der Student in vielen parallelen Umgebungen ausgerollt und jeder besuchte Zustand mit der Ausgabe des Teachers beschriftet wird. Dann wird der Student auf dem realen Roboter eingesetzt, und Ingenieure testen ihn in den Situationen, in denen verborgene Information am meisten zählt, etwa auf rutschigen Böden oder bei Hindernissen, die der Roboter nicht sehen kann.

Häufige Missverständnisse

Der Student braucht Trainingsdaten aus der realen Welt — beide Stufen werden normalerweise vollständig in der Simulation trainiert, und der Student wird zero-shot eingesetzt
Der Student kopiert einfach den Teacher — er muss die verborgene Information aus seiner eigenen Sensorhistorie erschließen, und das ist der schwierige Teil
Teacher-Student-Training ersetzt Reinforcement Learning — der Teacher wird meist mit RL trainiert; nur die Student-Stufe ist überwachte Destillation

Wer das wissen sollte

Forschende im Roboterlernen, die an Sim-to-Real-Transfer arbeiten
Regelungsingenieure für die Fortbewegung auf Beinen
Forschende in geschickter Manipulation
Praktiker im Reinforcement Learning, die Policies auf Hardware einsetzen

Open Source Robotics