MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

Autoren: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

MimicPlay lernt einen latenten Planer aus 10 Minuten Video menschlichen Spiels mit den Händen und einen planengeführten Transformer-Regler aus wenigen teleoperierten Demonstrationen und steigert so den Erfolg bei Aufgaben mit langem Horizont auf einem Franka-Arm.

Warum es wichtig ist

Menschliche Spieldaten benötigen weder Roboter noch Aufgabenlabels noch das Zurücksetzen der Umgebung: Ein Mensch erledigt in etwa 5 Sekunden, was per Roboter-Teleoperation 90 Sekunden dauert, und 10 Minuten Spiel entsprechen ungefähr einem Teleoperationsdatensatz von 3 Stunden. Da menschliche Bewegung und Roboterfähigkeiten einen gemeinsamen latenten Planraum teilen, kann ein menschliches Video auch direkt als Ziel-Prompt für den Roboter verwendet werden.

Problem

Imitationslernen beschränkte sich bisher meist auf Primitive mit kurzem Horizont, weil Demonstrationen mit langem Horizont langsam und arbeitsintensiv zu erheben sind. Das Lernen aus Roboter-Spieldaten hilft, erfordert aber immer noch Stunden an Teleoperation, zum Beispiel 4,5 Stunden für C-BeT und 6 Stunden für TACO-RL.

Lösungsansatz

MimicPlay teilt das Lernen nach Datenquelle auf. Ein zielkonditionierter latenter Planer wird pro Szene auf 10 Minuten Video menschlichen Spiels trainiert, um über einen Kopf mit Gaussian Mixture Model zukünftige 3D-Handtrajektorien vorherzusagen, die mit zwei kalibrierten Kameras verfolgt werden, während ein KL-Verlust die visuellen Merkmale von Mensch und Roboter angleicht. Eine Transformer-Policy im Stil von GPT, trainiert auf 20–40 teleoperierten Demonstrationen pro Aufgabe, bildet dann die latenten Pläne des eingefrorenen Planers zusammen mit Eingaben der Handgelenkkamera und propriozeptiven Eingaben auf Befehle für Endeffektor und Greifer ab.

Wichtigste Erkenntnisse

Pläne auf hoher Ebene lassen sich aus kostengünstigen menschlichen Spieldaten lernen, während die Low-Level-Regelung aus teleoperierten Demonstrationen stammt, die keine Embodiment-Lücke aufweisen.
Ein GMM-Kopf ist nötig, um die multimodalen Trajektorien der menschlichen Hand zu erfassen; ohne ihn generalisierte der Planer schlechter als eine Variante, die ohne menschliche Daten trainiert wurde.
Ein KL-Verlust auf den Merkmalsverteilungen des Encoders verringert die visuelle Lücke zwischen Mensch und Roboter ohne gepaarte Daten und ergibt in t-SNE eine um 23 % größere Überlappung zwischen den Merkmalsverteilungen von Mensch und Roboter.
Die Verwendung aller 10 Minuten menschlichen Spiels statt der Hälfte verbessert die Generalisierung auf ungesehene Kombinationen von Teilzielen.
Vortrainierte latente Pläne verringern den Verlust beim Übergang vom Einzelaufgaben- zum Mehraufgabentraining im Vergleich zu End-to-End-Methoden wie LMP und R3M-BC.

Hauptergebnisse

Kitchen, langer Horizont, alle drei Aufgaben (Table 1): 0,47 Erfolg mit 20 Demonstrationen und 0,70 mit 40 Demonstrationen, gegenüber höchstens 0,07 und 0,17 für die Baselines und 0,23 / 0,40 für die Variante ohne menschliche Daten.
Study Desk (Table 2, 20 Demonstrationen): 0,55 bei trainierten Aufgaben und 0,47 bei ungesehenen Aufgabenkombinationen, gegenüber 0,00 für GC-BC (BC-trans) und LMP und 0,20 / 0,10 für die Variante ohne menschliche Daten.
Mehrere Aufgaben über Flower, Whiteboard, Sandwich und Cloth (Table 3): 0,55 mit einem gemeinsamen Modell gegenüber 0,58 mit einem Modell pro Aufgabe; LMP fällt von 0,13 auf 0,05 und R3M von 0,25 auf 0,15.
Ohne den KL-Verlust sinkt der Erfolg bei trainierten Aufgaben auf 0,38 (17 % niedriger als 0,55); ohne das GMM liegt er bei 0,28 für trainierte und 0,07 für ungesehene Aufgaben.
In der LIBERO-Simulation, in der nur Roboter-Spieldaten verfügbar sind, erreicht die hierarchische Variante ohne menschliche Daten 0,29–0,67 bei Aufgaben mit langem Horizont, während die GC-BC-Baselines 0,00 erzielen (5 Seeds, 100 Versuche).
Das Gesamtsystem läuft mit 17 Hz, schnell genug, um nach menschlichen Störungen wie dem Auffalten eines gefalteten Handtuchs neu zu planen; Section 4 nennt eine Regelfrequenz von 20 Hz, der Anhang 17–20 Hz.

Einschränkungen

Latente Pläne werden aus szenenspezifischen menschlichen Spieldaten gelernt; Training mit Daten im Internetmaßstab könnte die Skalierbarkeit verbessern (laut den Autoren).
Die Aufgaben beschränken sich auf Umgebungen auf dem Tisch; mobile Manipulation wird nicht abgedeckt (laut den Autoren).
Das verkörperungsübergreifende Repräsentationslernen lässt sich noch verbessern, zum Beispiel mit zeitlich kontrastivem Lernen oder Lernen mit Zykluskonsistenz (laut den Autoren).
Beim Mehraufgabentraining sank der Erfolg bei der Whiteboard-Aufgabe von 0,5 auf 0,2, was die Autoren auf kürzere Whiteboard-Demonstrationen zurückführen, die den Datensatz unausgewogen machen.
3D-Hand-Tracking erfordert einen kalibrierten Aufbau mit zwei Kameras, und die Komponente mit menschlichem Spiel konnte nicht in der Simulation getestet werden.

Wirkung auf das Fachgebiet

Finalistin für den CoRL 2023 Best Systems Paper Award und auf der gemeinsamen Finalistenliste für CoRL 2023 Best Paper / Best Student Paper, mit 415 Zitationen. Der Implementierungscode ist unter github.com/j96w/MimicPlay veröffentlicht, Videos gibt es auf der Projektseite.

Zusammenfassung

Imitationslernen aus menschlichen Demonstrationen ist ein vielversprechendes Paradigma, um Robotern Manipulationsfähigkeiten in der realen Welt beizubringen. Das Lernen komplexer Aufgaben mit langem Horizont erfordert jedoch oft eine unerreichbare Menge an Demonstrationen. Um den hohen Datenbedarf zu verringern, greifen wir auf menschliche Spieldaten zurück, Videosequenzen von Menschen, die mit ihren Händen frei mit der Umgebung interagieren. Trotz unterschiedlicher Morphologien nehmen wir an, dass menschliche Spieldaten reichhaltige und markante Informationen über physische Interaktionen enthalten, die das Lernen von Roboter-Policies unmittelbar erleichtern können. Davon ausgehend stellen wir ein hierarchisches Lern-Framework namens MimicPlay vor, das aus menschlichen Spieldaten latente Pläne lernt, um eine visuomotorische Low-Level-Regelung anzuleiten, die auf einer kleinen Zahl teleoperierter Demonstrationen trainiert wird. Mit systematischen Evaluationen an 14 Manipulationsaufgaben mit langem Horizont in der realen Welt zeigen wir, dass MimicPlay State-of-the-Art-Methoden des Imitationslernens bei Erfolgsrate, Generalisierungsfähigkeit und Robustheit gegenüber Störungen übertrifft. Code und Videos sind unter mimic-play.github.io verfügbar.

Open Source Robotics