Inverse Reinforcement Learning

Auch genannt: IRL, inverse RL
Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: reward-learning, imitation-learning, reinforcement-learning, robot-learning, learning-from-demonstration

Das Lernen der Belohnungsfunktion, die das demonstrierte Verhalten eines Experten erklärt, damit anschließend eine Policy trainiert werden kann, die diese Belohnung mit Reinforcement Learning oder Planung optimiert.

Definition

Inverse Reinforcement Learning (IRL) kehrt das übliche Reinforcement-Learning-Problem um. Statt eine Belohnung zu erhalten und nach einer guten Policy gefragt zu werden, erhält der Lernende Demonstrationen guten Verhaltens und wird nach einer Belohnungsfunktion gefragt, unter der dieses Verhalten optimal oder nahezu optimal ist. Die gelernte Belohnung wird dann zum Training einer Policy verwendet, manchmal in neuen Situationen oder auf einem anderen Roboter, unter der Annahme, dass die Belohnung die Absicht der Aufgabe besser erfasst als die demonstrierten Aktionen. Andrew Ng und Stuart Russell legten im Jahr 2000 eine frühe formale Behandlung des Problems vor.

Das Problem ist schlecht gestellt: Viele Belohnungsfunktionen erklären dasselbe Verhalten, darunter eine Belohnung, die überall null ist. Die Verfahren lösen diese Mehrdeutigkeit auf unterschiedliche Weise auf. Apprenticeship Learning gleicht die erwarteten Merkmalshäufigkeiten des Lernenden an die des Experten an. Maximum-Entropy-IRL, 2008 von Brian Ziebart und Kollegen eingeführt, modelliert den Experten so, dass er Trajektorien mit einer Wahrscheinlichkeit proportional zur Exponentialfunktion ihrer Belohnung wählt; das ergibt eine wohldefinierte Likelihood und toleriert unvollkommene Demonstrationen. Adversariale Verfahren trainieren einen Diskriminator, der Expertendaten von den eigenen Daten der Policy unterscheidet, und nutzen seine Ausgabe als Trainingssignal; GAIL tut dies, ohne eine explizite Belohnung zurückzugeben, während AIRL darauf ausgelegt ist, eine solche wiederherzustellen.

Klassisches IRL wechselt zwischen der Aktualisierung der Belohnung und dem Lösen eines vollständigen Reinforcement-Learning-Problems unter ihr, was aufwendig ist. Praktische Robotersysteme verwenden daher oft einfachere Schemata des Belohnungslernens, etwa Belohnungen auf Basis der Ähnlichkeit zu Demonstrationsbildern oder Klassifikatoren, die auf Erfolgsbeispielen trainiert sind, behalten aber die Kernidee bei, das Trainingssignal aus Beispielen abzuleiten. In der Regelungstheorie heißt das eng verwandte Problem, eine Kostenfunktion aus beobachteten optimalen Trajektorien zu rekonstruieren, inverse optimale Steuerung (inverse optimal control).

Warum es wichtig ist

Belohnungen für Roboteraufgaben von Hand zu schreiben ist langsam und fehleranfällig, und Policies nutzen jede Lücke zwischen der Belohnung und dem beabsichtigten Verhalten aus. IRL gewinnt Belohnungen stattdessen aus Demonstrationen, die sich auf Bedingungen übertragen lassen, unter denen das Kopieren der demonstrierten Aktionen scheitern würde, und es verbindet Imitationslernen mit Reinforcement Learning.

Wichtige Anwendungen

Lernen von Belohnungen für Manipulationsaufgaben aus Demonstrationen
Modellierung des Verhaltens von Fahrern und Fußgängern für autonome Fahrzeuge
Lernen von Navigationskostenkarten aus Expertenpfaden
Erschließen menschlicher Präferenzen in der Mensch-Roboter-Interaktion
Bereitstellen von Trainingsbelohnungen für Reinforcement Learning auf realen Robotern

In der Praxis

Ein Team möchte, dass ein Roboterarm einen Tisch so abwischt, wie ein Mensch es tut. Es zeichnet eine Reihe teleoperierter Demonstrationen auf und trainiert dann neben der Policy ein Belohnungsmodell: Ein Diskriminator lernt, Zustandsübergänge als expertenähnlich oder nicht zu bewerten, und die Policy wird in der Simulation mit Reinforcement Learning darauf trainiert, diese Bewertung zu maximieren, bevor sie auf dem Roboter feinabgestimmt wird. Damit die Policy Schwächen der gelernten Belohnung nicht ausnutzt, regularisiert das Team den Diskriminator, fügt einen kleinen handgeschriebenen Term für den Aufgabenabschluss hinzu und prüft Rollouts per Augenschein. Als die Aufgabe später auf einen Tisch anderer Höhe übertragen wird, dient die gelernte Belohnung dazu, die Rollouts der angepassten Policy zu bewerten.

Häufige Missverständnisse

IRL ist dasselbe wie Behavior Cloning — Behavior Cloning kopiert Aktionen direkt, während IRL eine Belohnung rekonstruiert und dann eine Policy trainiert, die sie optimiert
Die rekonstruierte Belohnung ist die wahre Belohnung — viele Belohnungen erklären dieselben Demonstrationen, und IRL liefert eine, die unter seinen eigenen Annahmen zu den Daten passt
IRL braucht perfekte Demonstrationen — frühe Formulierungen setzten optimale Experten voraus, aber Maximum-Entropy- und spätere Verfahren tolerieren verrauschte oder suboptimale Demonstrationen

Wer das wissen sollte

Forschende im Roboterlernen
Reinforcement-Learning-Ingenieure, die Belohnungsfunktionen entwerfen
Teams für Verhaltensmodellierung beim autonomen Fahren
Forschende in der Mensch-Roboter-Interaktion

Videos

CS 285: Lecture 20, Inverse Reinforcement Learning, Part 1: RAIL
Inverse Reinforcement Learning Explained: Edan Meyer

Open Source Robotics