Language-Driven Representation Learning for Robotics

Autoren: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Voltron kombiniert sprachkonditionierte maskierte Rekonstruktion mit der Generierung von Bildunterschriften auf Something-Something-v2 und übertrifft MVP und R3M bei gleichen Daten in einer neuen Robotik-Evaluationssuite mit fünf Problemen.

Warum es wichtig ist

Roboterlernen braucht visuelle Merkmale für Wahrnehmung, Sprachverankerung und Regelung, nicht nur für die Regelung. Bei gleichen Vortrainingsdaten und gleicher Modellkapazität zeigt die Arbeit, dass Sprache im Vortraining die Ergebnisse selbst bei Aufgaben ohne Spracheingabe verbessert, und sie stellt eine einheitliche Evaluationssuite bereit, um Repräsentationen über diese Probleme hinweg zu vergleichen.

Problem

Auf menschlichen Videos vortrainierte visuelle Repräsentationen wie MVP (maskiertes Autoencoding) und R3M (kontrastives Lernen) wurden hauptsächlich bei visuomotorischer Regelung evaluiert. Breiter getestet sind sie inkonsistent: MVP schneidet bei der Vorhersage von Greif-Affordanzen gut ab, tut sich aber bei sprachkonditionierter Imitation schwer, während R3M das Umgekehrte zeigt und bei der Vorhersage von Greif-Affordanzen vollständig einbricht.

Lösungsansatz

Voltron speist Videoframes und ihre Bildunterschriften in eine Pipeline für maskiertes Autoencoding ein, deren Transformer-Encoder Vision und Sprache gemeinsam einbettet. Mit Wahrscheinlichkeit α erzeugt es die Bildunterschrift aus dem visuellen Kontext, statt auf sie zu konditionieren, und wägt so Rekonstruktionsmerkmale niedriger Ebene gegen Semantik höherer Ebene ab; untersucht werden drei Varianten: V–Cond (ein Frame, α = 0), V–Dual (zwei Frames, α = 0) und V–Gen (zwei Frames, α = 0,5). Die Autoren bauen außerdem eine Evaluationssuite aus fünf Problemen auf: Vorhersage von Greif-Affordanzen, Verankerung referenzierender Ausdrücke, visuomotorische Regelung für Einzelaufgaben in der Simulation, sprachkonditionierte Imitation auf einem realen Franka-Arm und Zero-Shot-Intentionsbewertung.

Wichtigste Erkenntnisse

Maskierte Rekonstruktion auf Sprache zu konditionieren, hilft selbst dann, wenn zur Testzeit keine Sprache vorliegt: V–Cond übertrifft R-MVP und das größere MVP (EgoSoup) bei der Vorhersage von Greif-Affordanzen.
Keine Voltron-Variante ist überall die beste: Sprachgenerierung (V–Gen) ist für die Intentionsbewertung nötig, schadet aber einigen Regelungsaufgaben, und das Einzelbild-Modell V–Cond schneidet bei nicht-episodischen Aufgaben gut ab, liegt bei der Regelung aber hinter Zweibild-Modellen.
Generative Sprachmodellierung hielt sich besser als maskierte Sprachmodellierung: Ein reproduziertes M3AE überanpasste seinen Sprachverlust innerhalb der ersten 20 Epochen bis zu einer Perplexität von 1 und schnitt bei jeder getesteten Evaluation schlechter ab.
Die Fusion von Vision und Sprache innerhalb des Encoders während des Vortrainings, statt getrennte Text- und Bildkodierungen nachträglich zu kombinieren, ist die Erklärung der Autoren für die großen Gewinne bei der Verankerung referenzierender Ausdrücke.
Multihead Attention Pooling (MAP) zur Merkmalsextraktion verbesserte jedes ViT-Modell und verdoppelte den Erfolg bei visuomotorischer Regelung nahezu, verglichen mit dem Extraktionsverfahren der ursprünglichen MVP-Arbeit.

Hauptergebnisse

Vorhersage von Greif-Affordanzen (ARC Grasping, ViT-S): V–Cond erzielt 85,15 / 80,71 / 47,45 bei Top-1- / Top-1%- / Top-5%-Präzision, gegenüber 72,94 / 61,47 / 39,77 für R-MVP und 40,38 / 40,55 / 28,66 für R-R3M (Table 2).
Verankerung referenzierender Ausdrücke (OCID-Ref, Gesamtgenauigkeit bei 0,25 IoU): V–Cond 89,38 gegenüber R-R3M 63,30, R-MVP + DistilBERT 49,58 und CLIP ViT-B 68,35 (Table 3).
Die Skalierung von V–Cond von ViT-S (22M Parameter) auf ViT-B (86M) hebt die Top-5%-Präzision beim Greifen von 47,45 auf 62,33 und die Gesamtgenauigkeit bei referenzierenden Ausdrücken von 89,38 auf 90,77.
Ablation (Table 4): Ohne Sprache sinkt Top-1% beim Greifen von 80,71 auf 65,83, die Genauigkeit bei referenzierenden Ausdrücken von 89,38 auf 53,44 und der Erfolg in Franka Kitchen (n = 25) von 38,2 ± 5,09 auf 33,1 ± 4,79; R-M3AE erzielt 52,79, 51,61 und 24,0 ± 4,21.
Zero-Shot-Intentionsbewertung auf WHiRL-Videos: V–Gen verfolgt den Fortschritt bei 'opening the faucet' sowohl in Videos von Menschen als auch von Robotern, während CLIP und R3M verrauschte Werte liefern (qualitativ, Figure 7).
Sprachkonditionierte Imitation am realen Roboter (5 Aufgaben, je 20 Demonstrationen): Voltron-Modelle erzielen den höchsten Erfolg und bleiben, zusammen mit R-MVP, robust gegenüber visuellen Störobjekten; diese Zahlen werden nur in Figure 6 berichtet.

Einschränkungen

Den Autoren fehlte die Rechenleistung, um im Maßstab der ursprünglichen MVP- und R3M-Modelle zu trainieren; direkte Vergleiche verwenden eigene Reproduktionen auf Something-Something-v2, und die offiziellen Modelle von MVP, R3M und CLIP werden als nicht direkt vergleichbar gekennzeichnet (laut den Autoren).
Keine einzelne Repräsentation ist bei allen Aufgaben die stärkste; Zielkonflikte zwischen Merkmalen niedriger und höherer Ebene bleiben bestehen (laut den Autoren).
Die absoluten Erfolgsraten bei der Regelung in Franka Kitchen bleiben niedrig; das Lernen von Policies im geschlossenen Regelkreis aus begrenzten Daten bleibt offen (laut den Autoren).
Das Vortraining verwendete höchstens Kontexte aus zwei Frames, weil vier Frames den verfügbaren Speicher überstiegen, und α = 1 (nur Generierung) wurde nicht evaluiert.
Die Intentionswerte sind nicht perfekt: Nachdem der Wasserhahn aufgedreht ist, bleiben die Werte beim Video des Menschen hoch, fallen beim Video des Roboters aber ab, aus Gründen, die die Autoren nicht erklären konnten.

Wirkung auf das Fachgebiet

Finalistin für den RSS 2023 Best Paper Award, mit 242 Zitationen. Die Autoren veröffentlichen die vortrainierten Modelle V–Cond, V–Dual und V–Gen (dazu ein ViT-Base-V–Cond und Zwischen-Checkpoints), Code für Vortraining und Anpassung, vorverarbeitete Something-Something-v2-Daten mit den exakten Trainingsbatches sowie eine eigenständige Evaluationssuite.

Zusammenfassung

Jüngste Arbeiten zum visuellen Repräsentationslernen für die Robotik zeigen, dass das Lernen aus großen Videodatensätzen von Menschen, die alltägliche Aufgaben ausführen, praktikabel ist. Mithilfe von Methoden wie maskiertem Autoencoding und kontrastivem Lernen zeigen diese Repräsentationen einen starken Transfer auf das Lernen von Policies für visuomotorische Regelung. Roboterlernen umfasst jedoch über die Regelung hinaus vielfältige Probleme, darunter unter anderem die Vorhersage von Greif-Affordanzen, sprachkonditioniertes Imitationslernen und Intentionsbewertung für die Mensch-Roboter-Kollaboration. Zunächst zeigen wir, dass bestehende Repräsentationen bei diesen Aufgaben inkonsistente Ergebnisse liefern: Ansätze mit maskiertem Autoencoding erfassen räumliche Merkmale niedriger Ebene auf Kosten der Semantik höherer Ebene, während Ansätze des kontrastiven Lernens das Gegenteil erfassen. Anschließend stellen wir Voltron vor, ein Framework für sprachgesteuertes Repräsentationslernen aus menschlichen Videos und zugehörigen Bildunterschriften. Voltron wägt sprachkonditionierte visuelle Rekonstruktion, um visuelle Muster niedriger Ebene zu lernen, gegen visuell verankerte Sprachgenerierung ab, um Semantik höherer Ebene zu kodieren. Außerdem erstellen wir eine neue Evaluationssuite, die fünf verschiedene Probleme des Roboterlernens umfasst – eine einheitliche Plattform zur ganzheitlichen Bewertung visueller Repräsentationen für die Robotik. Durch umfassende, kontrollierte Experimente über alle fünf Probleme hinweg stellen wir fest, dass die sprachgesteuerten Repräsentationen von Voltron den bisherigen Stand der Technik übertreffen, insbesondere bei gezielten Problemen, die Merkmale höherer Ebene erfordern.

Open Source Robotics