Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Autoren: Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel · IROS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine adversariell aus 4,5 s Motion Capture eines Deutschen Schäferhunds gelernte Stilbelohnung ersetzt eine handentworfene Belohnung und überträgt sich mit geringeren Transportkosten auf einen realen A1-Vierbeiner.

Warum es wichtig ist

Die Abstimmung der Belohnung macht einen großen Teil der Ingenieursarbeit bei Sim-to-Real-Fortbewegung auf Beinen aus. Die Arbeit zeigt, dass wenige Sekunden Referenzbewegung auf einem realen Vierbeiner eine handentworfene Stilbelohnung mit 13 Termen ersetzen können, während die Policy dennoch so weit wie nötig von den Clips abweicht, um vorgegebenen Geschwindigkeiten zu folgen, und die Gangart mit der Geschwindigkeit wechselt.

Problem

Reinforcement-Learning-Agenten für Fortbewegung auf Beinen, die mit einer unterspezifizierten Belohnung trainiert werden, lernen oft Verhaltensweisen wie umherschlagende Gliedmaßen, Beinvibrationen oder Kontakte mit hohem Impuls, die Ungenauigkeiten des Simulators ausnutzen und auf einem realen Roboter nicht laufen können. Das übliche Gegenmittel ist eine komplexe handentworfene Stilbelohnung, die erhebliches Domänenwissen und feinfühlige Abstimmung erfordert und tendenziell spezifisch für eine Plattform und Aufgabe ist.

Lösungsansatz

Die Autoren übertragen Adversarial Motion Priors (AMP) aus der Computergrafik: Ein mit einem Least-Squares-GAN-Ziel und einer Gradientenstrafe trainierter Diskriminator lernt, Zustandsübergänge in einem Motion-Capture-Datensatz von durch die Policy erzeugten Übergängen zu unterscheiden, und seine Ausgabe wird zu einer Stilbelohnung, die zu einer Aufgabenbelohnung für Geschwindigkeitsfolge addiert wird (Gewichte 0,65 und 0,35). Clips eines Deutschen Schäferhunds mit insgesamt 4,5 Sekunden werden mit inverser Kinematik auf den A1-Roboter retargetiert, und die Policy (Sollgelenkwinkel mit 30 Hz, verfolgt durch PD-Regler) wird vor dem Einsatz auf der Hardware mit PPO über 5.280 Umgebungen in Isaac Gym mit Domänenrandomisierung trainiert.

Wichtigste Erkenntnisse

Eine adversariell aus 4,5 s Motion Capture gelernte Stilbelohnung kann eine handentworfene Stilbelohnung mit 13 Termen ersetzen und dennoch Policies liefern, die auf einem realen Vierbeiner eingesetzt werden können.
Da der Diskriminator Zustandsübergänge bewertet, statt einen bestimmten Clip nachzuverfolgen, kann die Policy Geschwindigkeitsbefehlen folgen, die in den Referenzdaten nicht vorkommen.
Mit dem Motion Prior trainierte Policies wechseln die Gangart mit der vorgegebenen Geschwindigkeit (Passgang bei 0,8 m/s, Trab bei 1,7 m/s und ein Wechsel von Passgang zu Kanter, wenn der Befehl von 1 m/s auf 2 m/s steigt), was die Autoren damit in Verbindung bringen, wie Tiere ihren Energieverbrauch senken.
Ohne Stilbelohnung nutzt die Policy ungenaue Simulatordynamik aus, indem sie ihre Füße mit hoher Geschwindigkeit und hohem Drehmoment vibrieren lässt; sie folgt der Geschwindigkeit gut, ist aber zu heftig, um auf dem realen Roboter zu laufen.
Die Autoren führen die geringeren Transportkosten auf energieeffiziente Strategien zurück, die bereits in den Bewegungsdaten des Hundes vorhanden sind.

Hauptergebnisse

Mechanische Transportkosten in der Simulation (Table II) bei vorgegebenen Geschwindigkeiten von 0,4, 0,8, 1,2 und 1,6 m/s: 1,07, 0,93, 1,02 und 1,12 mit der AMP-Belohnung gegenüber 1,54, 1,37, 1,40 und 1,41 mit der komplexen Stilbelohnung. Der Text gibt den Bereich der komplexen Belohnung mit 1,37 bis 1,65 an, was nicht zum höchsten Tabellenwert von 1,54 passt.
Ohne Stilbelohnung betrugen die Transportkosten bei denselben vier Geschwindigkeiten 14,03, 8,00, 6,05 und 5,18, verursacht durch hohe Drehmomente und Motorgeschwindigkeiten.
Gemessene Vorwärtsgeschwindigkeit für Befehle von 0,4/0,8/1,2/1,6 m/s: 0,36/0,77/1,11/1,52 m/s mit AMP, 0,41/0,88/1,28/1,67 m/s mit der komplexen Belohnung und 0,42/0,82/1,22/1,61 m/s ohne Stilbelohnung.
Das Training dauerte 4 Milliarden Umgebungsschritte (etwa 4,2 Jahre simulierter Daten) in 16 Stunden auf einer einzelnen Tesla-V100-GPU.
Auf dem realen A1 folgte die AMP-Policy sinusförmigen Befehlen für Linear- und Winkelgeschwindigkeit, steuerte durch eine Route mit scharfen Kurven und wechselte von Passgang zu Kanter, als der Befehl von 1 m/s auf 2 m/s stieg.

Einschränkungen

Die Arbeit hat keinen Abschnitt zu Einschränkungen. Ihre Evaluation auf dem realen Roboter ist qualitativ (Gangdiagramme, Geschwindigkeitsverläufe, Diagramme der Transportkosten und ein Beispiel für das Abfahren einer Route), ohne auf der Hardware gemessene Erfolgsraten oder Energietabellen.
Alle Zahlen zu Transportkosten und Geschwindigkeitsfolge in Table II stammen aus der Simulation.
Die Referenzdaten sind 4,5 s eines einzigen Deutschen Schäferhunds (Passgang, Trab, Kanter und Drehen auf der Stelle), retargetiert auf einen einzigen Roboter, den A1; kein anderer Roboter und keine andere Fertigkeit wird getestet.
In der Simulation läuft die AMP-Policy bei jedem getesteten Befehl etwas unter der vorgegebenen Vorwärtsgeschwindigkeit (zum Beispiel 1,52 m/s bei einem Befehl von 1,6 m/s).

Wirkung auf das Fachgebiet

Finalist für den IROS 2022 Best Paper Award und den ABB Best Student Paper Award und 210-mal zitiert. Die Arbeit verweist auf eine Projektseite mit Videos und auf das Projekt-Repository, das den Code unter github.com/Alescontrela/AMP_for_hardware verlinkt.

Zusammenfassung

Das Training eines hochdimensionalen simulierten Agenten mit einer unterspezifizierten Belohnungsfunktion führt oft dazu, dass der Agent physikalisch unmögliche Strategien lernt, die beim Einsatz in der realen Welt wirkungslos sind. Um diese unnatürlichen Verhaltensweisen abzuschwächen, verwenden Anwender von Reinforcement Learning häufig komplexe Belohnungsfunktionen, die physikalisch plausibles Verhalten fördern. Allerdings ist oft ein mühsamer, arbeitsintensiver Abstimmungsprozess nötig, um handentworfene Belohnungen zu erstellen, die sich womöglich nicht leicht über Plattformen und Aufgaben hinweg verallgemeinern lassen. Wir schlagen vor, komplexe Belohnungsfunktionen durch „Stilbelohnungen“ zu ersetzen, die aus einem Datensatz von Motion-Capture-Demonstrationen gelernt werden. Eine gelernte Stilbelohnung kann mit einer beliebigen Aufgabenbelohnung kombiniert werden, um Policies zu trainieren, die Aufgaben mit naturgetreuen Strategien ausführen. Diese natürlichen Strategien können auch den Transfer in die reale Welt erleichtern. Wir bauen auf Adversarial Motion Priors auf – einem Ansatz aus der Computergrafik, der eine Stilbelohnung aus einem Datensatz von Referenzbewegungen kodiert –, um zu zeigen, dass ein adversarieller Ansatz für das Training von Policies Verhaltensweisen erzeugen kann, die sich auf einen realen vierbeinigen Roboter übertragen lassen, ohne komplexe Belohnungsfunktionen zu erfordern. Außerdem zeigen wir, dass sich eine wirksame Stilbelohnung aus wenigen Sekunden Motion-Capture-Daten eines Deutschen Schäferhunds lernen lässt und zu energieeffizienten Fortbewegungsstrategien mit natürlichen Gangartwechseln führt.

Open Source Robotics