XIRL: Cross-embodiment Inverse Reinforcement Learning

Autoren: Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi · CoRL 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Embeddings mit zeitlicher Zykluskonsistenz, gelernt aus Videos von Demonstratoren mit unterschiedlicher Verkörperung, liefern eine Zieldistanz-Belohnung, mit der RL-Policies auf ungesehenen Verkörperungen trainiert werden.

Warum es wichtig ist

Die Belohnung benötigt nur Videos: keine Aktionslabels, keine gepaarten Frames und keine Instrumentierung der Umgebung über eine Kamera hinaus. In den Experimenten der Arbeit trainierte dieselbe gelernte Belohnung Agenten, deren Körper in der Demonstrationsmenge fehlten, was der Situation entspricht, wenn ein Roboter aus menschlichen Videos lernen soll.

Problem

Roboter könnten Aufgaben aus Videos in der dritten Person lernen, etwa aus Demonstrationen durch Menschen, doch der Körper des Demonstrators unterscheidet sich von dem des Roboters, sodass jeder die Aufgabe mit einer anderen Strategie und Trajektorie löst. Frühere Methoden zum Lernen von Belohnungen benötigten eine Referenztrajektorie, eine Zeitindex-Ausrichtung oder von Menschen gelabelte Frame-Korrespondenzen zwischen Demonstrator und Lernendem.

Lösungsansatz

XIRL trainiert einen ResNet-18-Bildencoder mit zeitlicher Zykluskonsistenz (temporal cycle-consistency, TCC) auf reinen Beobachtungsvideos, die aus mehreren Verkörperungen zusammengeführt werden, ohne Verkörperungslabels. Die Belohnung ist ein Sigmoid der negativen, mit einer Temperatur skalierten quadrierten Distanz zwischen dem Embedding des aktuellen Frames und dem mittleren Embedding der letzten Frames der Demonstrationen, und mit dieser Belohnung wird eine Soft-Actor-Critic-Policy für die neue Verkörperung trainiert.

Wichtigste Erkenntnisse

TCC-Embeddings kodieren den Aufgabenfortschritt, sodass die Distanz zu einem einzigen Ziel-Embedding eine dichte Belohnung ohne Referenztrajektorie oder Zeitindex-Ausrichtung ergibt.
Das Zusammenführen von Demonstrationen aus mehr Verkörperungen, bei insgesamt konstant 1000 Demonstrationen, beschleunigte RL auf einer zurückgehaltenen Verkörperung.
Verschiedene Körper lösen dieselbe Aufgabe sehr unterschiedlich: In X-MAGICAL reicht die mittlere Demonstrationslänge von 48,0 Schritten (long-stick) bis 110,8 (gripper).
Die gelernte Belohnung vergibt Teilpunkte für Teilfortschritt, z. B. für die Bewegung auf eine Schublade zu, bevor es zur Kollision mit ihr kommt, während die spärliche Umgebungsbelohnung bei null bleibt.

Hauptergebnisse

X-MAGICAL-Kehren mit derselben Verkörperung: XIRL war mindestens so sample-effizient wie die anderen gelernten Belohnungen und bei 3 von 4 Verkörperungen sample-effizienter als die Umgebungsbelohnung.
Cross-Embodiment, wobei jeder der 4 Agenten zurückgehalten und der Encoder auf den übrigen 3 trainiert wurde: XIRL generalisierte signifikant besser auf den neuen Agenten als TCN-, LIFS- und Zielklassifikator-Belohnungen (5 Seeds, jeweils 50 Evaluationsepisoden).
Reale menschliche Videos aus dem RLV-Datensatz trainieren einen simulierten Sawyer-Arm, einen Block zu schieben: XIRL plus spärliche Belohnung war sample-effizienter als RLV und als die spärliche Belohnung allein, ohne Labels gepaarter Frames oder Daten aus der Roboterdomäne beim Lernen der Belohnung.
X-REAL: 93 reale Videos von 9 Endeffektoren (menschliche Hände, Skihandschuhe, Küchenzangen, Hummerhand-Kostüm, Pinzette, Klemmen, eine Greifzange), die fünf Stifte in zwei Becher bewegen; bei One Hand 5 Fingers erhielt ein unvollständiger Versuch etwa die Hälfte der Belohnung eines erfolgreichen.
X-MAGICAL-Benchmark: 4 simulierte Verkörperungen mit je 1000 Expertendemonstrationen.

Einschränkungen

Es wurde keine Policy auf einem realen Roboter trainiert; die Autoren geben an, dass sie Policy-Lernen auf einem realen Roboter noch zeigen müssen.
X-MAGICAL ist eine 2D-Kehraufgabe auf Basis von PyMunk, die die Autoren als stark vereinfachte Version des realen Szenarios beschreiben.
Die Demonstrationen enthalten nur erfolgreiche Trajektorien, sodass ein schlecht generalisierender Encoder eine andere Aufgabe als beabsichtigt definieren kann; die Arbeit schlägt vor, die gelernte Belohnung mit einer spärlichen Aufgabenbelohnung zu kombinieren.
Auf dem realen Datensatz X-REAL zeigt die Arbeit nur Kurven der gelernten Belohnung, kein Policy-Lernen.
Die meisten Ergebnisse werden als Lernkurven statt als tabellierte Erfolgsraten angegeben, daher werden nur wenige exakte Zahlen berichtet.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2021 Best Paper Award, mit 182 Zitationen laut Angabe. Die Arbeit führt den X-MAGICAL-Benchmark und den X-REAL-Datensatz ein; die lizenzierte v1-Fassung gibt an, dass Code und Datensätze bereitgestellt werden, nennt aber keinen Link.

Zusammenfassung

Wir untersuchen das Setting der visuellen Cross-Embodiment-Imitation, in dem Agenten Policies aus Videos anderer Agenten (etwa Menschen) lernen, die dieselbe Aufgabe demonstrieren, deren Verkörperung sich jedoch deutlich unterscheidet – Form, Aktionen, Endeffektordynamik usw. In dieser Arbeit zeigen wir, dass es möglich ist, aus Cross-Embodiment-Demonstrationsvideos automatisch visionsbasierte Belohnungsfunktionen zu entdecken und zu lernen, die gegenüber diesen Unterschieden robust sind. Konkret stellen wir eine selbstüberwachte Methode für Cross-embodiment Inverse Reinforcement Learning (XIRL) vor, die Nebenbedingungen der zeitlichen Zykluskonsistenz nutzt, um tiefe visuelle Embeddings zu lernen, die den Aufgabenfortschritt erfassen, und zwar aus Offline-Videos von Demonstrationen mehrerer Expertenagenten, die dieselbe Aufgabe aufgrund unterschiedlicher Verkörperung jeweils anders ausführen. Vor unserer Arbeit erforderte das Erzeugen von Belohnungen aus selbstüberwachten Embeddings typischerweise eine Ausrichtung an einer Referenztrajektorie, die schwer zu beschaffen sein kann. Wir zeigen empirisch, dass, wenn die Embeddings den Aufgabenfortschritt erfassen, schon das bloße Verwenden der negativen Distanz zwischen aktuellem Zustand und Zielzustand im gelernten Embedding-Raum als Belohnung für das Training von Policies mit Reinforcement Learning nützlich ist. Wir stellen fest, dass unsere gelernte Belohnungsfunktion nicht nur für während des Trainings gesehene Verkörperungen funktioniert, sondern auch auf völlig neue Verkörperungen generalisiert. Außerdem stellen wir fest, dass XIRL-Policies sample-effizienter als Baselines sind und in einigen Fällen die Sample-Effizienz desselben Agenten übertreffen, der mit spärlichen Ground-Truth-Belohnungen trainiert wurde.

Open Source Robotics