R3M: A Universal Visual Representation for Robot Manipulation

Autoren: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

R3M trainiert einen eingefrorenen ResNet-Encoder auf Ego4D-Videos und Bildunterschriften vor; Behavior Cloning darauf schlägt CLIP-, MoCo- und ImageNet-Merkmale in 12 Simulationsaufgaben und auf einem realen Franka mit 20 Demos.

Warum es wichtig ist

Der Encoder wird als vortrainierte Gewichte für ResNet18, ResNet34 und ResNet50 veröffentlicht, die sich mit einem einzigen Aufruf laden lassen, sodass ein Team bildbasierte Manipulations-Policies aus wenigen Demonstrationen trainieren kann, ohne domäneninterne Daten für den Vision-Teil zu sammeln. Die Aufgaben auf dem realen Roboter wurden in der Wohnung eines Doktoranden aus jeweils 20 teleoperierten Demonstrationen gelernt.

Problem

Bildbasierte Manipulations-Policies End-to-End auf Daten aus der Zieldomäne zu trainieren ist datenintensiv und generalisiert schlecht. Die Robotik hat kein vortrainiertes visuelles Modell, vergleichbar mit ImageNet-Merkmalen oder BERT, das heruntergeladen und für jede Manipulationsaufgabe wiederverwendet werden kann, und vorhandene Roboterdatensätze decken eine begrenzte Zahl von Aufgaben in höchstens einer Handvoll Umgebungen ab.

Lösungsansatz

R3M trainiert einen ResNet-Bildencoder auf Ego4D, mehr als 3.500 Stunden egozentrischer menschlicher Videos mit Sprachannotationen, mit drei Termen: einem zeitkontrastiven Verlust, damit zeitlich nahe Frames nahe beieinander eingebettet werden, einem Video-Sprache-Ausrichtungsverlust, der bewertet, ob die Veränderung vom ersten Frame eines Clips zu einem späteren Frame zu seiner Bildunterschrift passt, und L1- und L2-Strafen für dünnbesetzte, kompakte Embeddings. Der Encoder wird dann eingefroren, und nachgelagerte Policies werden per Behavior Cloning als zweischichtiges MLP über dem Bild-Embedding, verkettet mit der Propriozeption des Roboters, trainiert.

Wichtigste Erkenntnisse

Alltägliche menschliche Videos (Ego4D) sind brauchbare Vortrainingsdaten für visuelle Roboterrepräsentationen, obwohl sich die Verkörperung von der des Roboters unterscheidet.
Alle drei Trainingsterme tragen bei; das Entfernen der Video-Sprache-Ausrichtung verursacht den größten Rückgang, von 62,4 % auf 53,2 % gemittelt über die Umgebungen und von 65,0 % auf 45,6 % bei Adroit.
Die Daten allein erklären den Gewinn nicht: Ein auf denselben Ego4D-Frames trainiertes MoCo liegt bei Franka Kitchen und Adroit etwa 10 % unter R3M, das MVP-Modell etwa 20 % darunter.
Die Sparsity-Strafe hilft bei Franka Kitchen und MetaWorld, ihr Entfernen hilft bei Adroit jedoch leicht, was nach Vermutung der Autoren daran liegt, dass Adroit mehr Demonstrationen verwendet.
Der Vorsprung von R3M hält über jeden getesteten Kamerablickwinkel und jede Größe der Demonstrationsmenge, während sich die Rangfolge zwischen CLIP und MoCo (345) mit dem Blickwinkel ändert.

Hauptergebnisse

Über 12 simulierte Aufgaben in MetaWorld, Franka Kitchen und Adroit erreicht R3M etwa 62 % mittleren Erfolg, mehr als 20 % über Training von Grund auf und mehr als 10 % über CLIP-, überwachten ImageNet- und MoCo-(345)-Merkmalen.
R3M ist die beste Methode in allen 3 Simulationsumgebungen und bei 11 von 12 Aufgaben.
Ablation (Table 1, alle Domänen): vollständiges R3M 62,4 %, ohne Crop-Augmentierung 60,4 %, ohne L1-Strafe 59,4 %, ohne Sprachausrichtung 53,2 %.
Daten gegenüber Zielfunktion (Table 2): Franka Kitchen 53,1 % für R3M, 42,0 % für auf Ego4D trainiertes MoCo, 27,0 % für MVP; Adroit 65,0 %, 54,9 % und 51,4 %.
Realer Franka Emika Panda, 20 Demonstrationen und 10 Versuche pro Aufgabe: R3M im Mittel 56 % gegenüber 24 % für CLIP (Schublade schließen 80 % vs. 70 %, Maske in Kommode 30 % vs. 10 %, Salat in Pfanne 60 % vs. 0 %, Becher schieben 70 % vs. 40 %, Handtuch falten 40 % vs. 0 %).

Einschränkungen

Die Evaluation ist auf Imitationslernen beschränkt, genauer auf Behavior Cloning mit wenigen Demonstrationen; eine gute vortrainierte Repräsentation für Reinforcement Learning kann sich von einer für Imitation unterscheiden.
R3M liefert nur eine Zustandsrepräsentation aus einem einzelnen Frame; ihre Nutzung oder die ihres Moduls zur Sprachverankerung für das Lernen von Belohnungen oder die Aufgabenspezifikation bleibt künftiger Arbeit überlassen.
Die Baseline MoCo (345) ist anders aufgesetzt als bei Parisi et al. (Propriozeption, Frame Stacking), daher sind ihre Zahlen zwischen den beiden Arbeiten nicht direkt vergleichbar.
Der Vergleich auf dem realen Roboter umfasst nur R3M und CLIP, mit 10 Versuchen pro Aufgabe.
Die Erfolgsraten in der Simulation sind der beste Wert, der über Evaluationen alle 1.000 Trainingsschritte erreicht wurde, gemittelt über Seeds, Blickwinkel und Größen der Demonstrationsmenge.

Wirkung auf das Fachgebiet

541-mal zitiert. Die Autoren veröffentlichen vortrainierte R3M-Modelle mit ResNet18-, ResNet34- und ResNet50-Backbones zusammen mit dem Trainingscode.

Zusammenfassung

Wir untersuchen, wie auf vielfältigen menschlichen Videodaten vortrainierte visuelle Repräsentationen ein dateneffizientes Lernen nachgelagerter Robotermanipulationsaufgaben ermöglichen können. Konkret trainieren wir eine visuelle Repräsentation auf dem menschlichen Videodatensatz Ego4D vor, mit einer Kombination aus zeitkontrastivem Lernen, Video-Sprache-Ausrichtung und einer L1-Strafe, die dünnbesetzte und kompakte Repräsentationen fördert. Die resultierende Repräsentation, R3M, kann als eingefrorenes Wahrnehmungsmodul für das nachgelagerte Lernen von Policies verwendet werden. Über eine Reihe von 12 simulierten Robotermanipulationsaufgaben stellen wir fest, dass R3M den Aufgabenerfolg gegenüber Training von Grund auf um über 20 % und gegenüber visuellen Repräsentationen nach dem Stand der Technik wie CLIP und MoCo um über 10 % verbessert. Darüber hinaus ermöglicht R3M einem Franka-Emika-Panda-Arm, eine Reihe von Manipulationsaufgaben in einer realen, unaufgeräumten Wohnung mit nur 20 Demonstrationen zu lernen.

Open Source Robotics