DAgger

Auch genannt: Dataset Aggregation
Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: imitation-learning, policy-distillation, covariate-shift, robot-learning, sim-to-real

Ein Algorithmus des Imitationslernens, der wiederholt die eigene Policy des Lernenden ausführt, einen Experten die erreichten Zustände labeln lässt und auf dem wachsenden Datensatz neu trainiert, um sich aufsummierende Fehler zu vermeiden.

Definition

DAgger, kurz für Dataset Aggregation (Datensatzaggregation), ist ein Algorithmus des Imitationslernens, der 2011 von Stéphane Ross, Geoffrey Gordon und J. Andrew Bagnell eingeführt wurde. Er geht die Hauptschwäche des einfachen Behavior Cloning an. Eine Policy, die nur auf Expertendemonstrationen trainiert wurde, sieht die Zustände, die der Experte besucht hat; einmal eingesetzt, führen kleine Fehler sie in Zustände, die der Experte nie besucht hat, wo sie keine Trainingsdaten hat und zu größeren Fehlern neigt. Diese Diskrepanz zwischen Trainings- und Einsatzzuständen heißt Kovariatenverschiebung (covariate shift), und die daraus resultierenden Fehler summieren sich über die Länge einer Aufgabe auf.

DAgger behebt die Diskrepanz, indem es Daten auf der eigenen Zustandsverteilung des Lernenden sammelt. Die Schleife ist einfach: eine anfängliche Policy auf Expertendaten trainieren; diese Policy oder eine Mischung aus ihr und dem Experten ausführen, um neue Zustände zu besuchen; den Experten fragen, welche Aktion er in jedem besuchten Zustand gewählt hätte; diese gelabelten Zustände zum Datensatz hinzufügen; auf dem gesamten aggregierten Datensatz neu trainieren; und wiederholen. Die Originalarbeit fasst dies als No-Regret-Online-Lernproblem und zeigt, dass der Fehler der Policy ungefähr linear mit der Aufgabenlänge wächst statt quadratisch, wie es bei Behavior Cloning der Fall sein kann.

Die praktische Voraussetzung ist ein Experte, der in beliebigen Zuständen abgefragt werden kann. Das ist einfach, wenn der Experte ein Planer, ein geskripteter Regler oder eine Policy in der Simulation ist, und schwieriger, wenn es ein Mensch ist, der Zustände labeln muss, die er nicht selbst gewählt hat. Varianten wie HG-DAgger lassen einen Menschen nur dann übernehmen, wenn der Lernende einen Fehler macht. Im heutigen Roboterlernen ist DAgger der Standardweg, eine privilegierte Lehrer-Policy, die mit Reinforcement Learning auf dem wahren Simulatorzustand trainiert wurde, in eine Schüler-Policy zu destillieren, die nur Bordsensoren wie Kameras nutzt.

Warum es wichtig ist

Die meisten gelernten Roboter-Policies werden aus Demonstrationen oder von einem stärkeren Lehrer trainiert, und die Lücke zwischen den im Training gesehenen und den im Einsatz erreichten Zuständen ist eine Hauptursache für Fehlschläge. DAgger ist die einfachste gut verstandene Methode, diese Lücke zu schließen, und liegt vielen Lehrer–Schüler-Pipelines zugrunde, mit denen in der Simulation trainierte Fähigkeiten auf reale Roboter gebracht werden.

Wichtige Anwendungen

Destillation privilegierter Simulations-Policies in visionsbasierte Schüler-Policies
Training von Reglern für Beinfortbewegung und Parkour für den Sim-to-Real-Transfer
Lernen von Fahr- und Drohnennavigations-Policies von Planern oder menschlichen Experten
Interaktives Imitationslernen, bei dem ein Mensch den Roboter während der Ausführung korrigiert
Verdichtung mehrerer spezialisierter Fertigkeits-Policies in eine generalistische Policy

In der Praxis

Ein Team, das einem Vierbeiner beibringt, über Hindernisse zu klettern und zu springen, trainiert zuerst in der Simulation mit Reinforcement Learning mehrere spezialisierte Policies, die jeweils Zugriff auf exakte Geländehöhen haben. Dann trainiert es eine einzige visionsbasierte Policy, die nur eine Tiefenkamera und Propriozeption sieht. In jeder Runde steuert die Vision-Policy den simulierten Roboter; bei jedem Schritt wird der zuständige Spezialist nach der Aktion gefragt, die er wählen würde, und das Paar aus Beobachtung und Spezialistenaktion wird gespeichert. Die Vision-Policy wird auf allen bisher gesammelten Daten neu trainiert, und der Zyklus wiederholt sich, bis sie den Spezialisten nahe genug kommt. Weil der Schüler die Zustände erzeugt hat, enthalten seine Trainingsdaten die Stolperer und ungewöhnlichen Kameraansichten, denen er auf dem realen Roboter begegnen wird.

Häufige Missverständnisse

DAgger ist Behavior Cloning mit mehr Daten — der entscheidende Unterschied ist, dass neue Daten aus Zuständen stammen, die der Lernende selbst besucht, nicht aus weiteren Expertendemonstrationen
DAgger braucht einen menschlichen Experten — jeder Experte, der beliebige Zustände labeln kann, funktioniert, und in der Robotik ist es meist eine simulierte Lehrer-Policy oder ein Planer
Der Experte muss den Roboter steuern, während Daten gesammelt werden — bei DAgger handelt meist der Lernende und der Experte labelt nur, und genau das legt die eigenen Fehler des Lernenden offen
DAgger macht den Experten nach der ersten Runde überflüssig — der Experte muss in jeder Trainingsrunde verfügbar sein, um Zustände zu labeln

Wer das wissen sollte

Forschende im Roboterlernen, die Imitationslernen nutzen
Ingenieure, die Lehrer–Schüler-Pipelines für Sim-to-Real aufbauen
Entwickler für Beinfortbewegung und Drohnenautonomie
Studierende, die Imitationslernen und Reinforcement Learning lernen

Open Source Robotics