Residual Reinforcement Learning

Auch genannt: residual RL, residual policy learning
Kategorie: Learning & autonomy › RL & simulation
Schlagwörter: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

Reinforcement Learning einer Korrektur, die zu den Aktionen eines bestehenden Reglers oder einer gelernten Policy addiert wird, sodass das Lernen von vernünftigem Verhalten statt bei null beginnt.

Definition

Residual Reinforcement Learning teilt die Aktion eines Roboters in zwei Teile auf: die Ausgabe einer Basis-Policy und ein gelerntes Residuum. Die Basis-Policy kann ein von Hand entworfener Regler, ein Trajektorienfolger oder eine durch Imitationslernen trainierte Policy sein. Die Residual-Policy beobachtet den Zustand, oft zusammen mit der Basisaktion, und gibt eine Korrektur aus, die zur Basisaktion addiert wird. Nur das Residuum wird mit Reinforcement Learning trainiert; die Basis-Policy bleibt fest. Der Ansatz wurde 2018 und 2019 unabhängig von zwei Gruppen eingeführt, unter den Namen Residual Policy Learning und Residual Reinforcement Learning für die Robotersteuerung.

Von einer funktionierenden Basis-Policy auszugehen, verändert das Lernproblem auf nützliche Weise. Früh im Training, wenn das Residuum nahe null ist, verhält sich der Roboter bereits vernünftig, sodass die Exploration sicherer ist und Belohnungen leichter erreicht werden, was für Aufgaben mit spärlicher Belohnung und für das Training auf realer Hardware wichtig ist. Das Residuum muss nur lernen, was die Basis-Policy falsch macht, etwa Kontakteffekte, Reibung oder Objektvariationen, die ein Regler nicht modelliert. Das Residualnetz so zu initialisieren, dass es null ausgibt, und seine Größe zu begrenzen, sind gängige Wege, das frühe Verhalten nahe an der Basis-Policy zu halten.

Die Basis-Policy begrenzt auch, was gelernt werden kann. Ist sie weit von gutem Verhalten entfernt, kann ein begrenztes Residuum sie möglicherweise nicht korrigieren, und ein unbegrenztes gibt den Sicherheitsvorteil auf. Varianten lassen das Residuum Reglerparameter wie Verstärkungen oder Sollwerte statt roher Aktionen anpassen oder kombinieren Residuen mit Policies, die aus wenigen Demonstrationen gelernt wurden, sodass das Imitationslernen das Basisverhalten liefert und Reinforcement Learning es für Präzision oder Robustheit verfeinert.

Warum es wichtig ist

Reines Reinforcement Learning auf realen Robotern ist langsam und kann unsicher sein, während von Hand entworfene Regler und Imitations-Policies oft fast richtig sind, aber an den Details des Kontakts scheitern. Residual RL verbindet beides und ist damit ein praktischer Weg, bestehende Regler mit begrenzter Interaktion in der realen Welt zu verbessern.

Wichtige Anwendungen

Kontaktreiche Montage wie Peg-in-Hole-Einfügen
Verfeinern durch Imitation gelernter Policies mit Reinforcement Learning
Korrektur modellbasierter Regler für nicht modellierte Reibung und Dynamik
Anpassen in der Simulation trainierter Regler an reale Hardware
Verbessern von Greifen und In-Hand-Manipulation ausgehend von einer geskripteten Baseline

In der Praxis

Ein Team nutzt einen Impedanzregler, um einen Stift in eine eng passende Bohrung einzufügen. Der Regler erreicht die Bohrung zuverlässig, verklemmt aber oft wegen kleiner Posenfehler und Reibung. Das Team fügt eine Residual-Policy hinzu, die die Endeffektorpose und den Messwert des Kraft-Momenten-Sensors am Handgelenk sieht und einen kleinen Versatz zur Zielposition des Reglers ausgibt, begrenzt auf einen schmalen Bereich. Das Residuum beginnt bei null, sodass sich die ersten Episoden wie der ursprüngliche Regler verhalten, und es wird mit einem Off-Policy-Algorithmus wie Soft Actor-Critic mit einer Belohnung auf Basis der Einfügetiefe trainiert. Im Lauf des Trainings lernt es die kleinen Korrekturbewegungen, die einen verklemmten Stift lösen, während der Basisregler weiterhin die Grobbewegung übernimmt.

Häufige Missverständnisse

Residual RL trainiert den Basisregler neu — die Basis-Policy bleibt fest, und nur die additive Korrektur wird gelernt
Jede Basis-Policy ist geeignet — das Residuum ist meist begrenzt, daher begrenzt eine schlechte Basis-Policy, was das kombinierte System erreichen kann
Residual RL macht Belohnungsdesign überflüssig — das Residuum braucht weiterhin eine Belohnung, die die Aufgabe erfasst; die Basis-Policy macht die Exploration nur einfacher und sicherer

Wer das wissen sollte

Forschende im Roboterlernen
Manipulationsingenieure, die an kontaktreichen Aufgaben arbeiten
Regelungsingenieure, die bestehende Regler mit Daten verbessern
Praktiker im Sim-to-Real-Transfer

Open Source Robotics