VIMA: General Robot Manipulation with Multimodal Prompts
Autoren: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023
Lizenzen
- Open Access
- Paper: CC BY 4.0
Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.
Kurz gesagt
Formuliert Manipulationsaufgaben als Prompts, in denen sich Text und Bilder abwechseln, ergänzt den Benchmark VIMA-Bench und schlägt einen Agenten mit Objekt-Token und Cross-Attention vor, der besser generalisiert als Designs im Stil von Gato.
Warum es wichtig ist
Eine einzige Prompt-Schnittstelle deckt Zielerreichung, One-Shot-Videoimitation, das Verankern neuer Konzepte und das Erfüllen von Nebenbedingungen ab, sodass eine einzige Policy über alle hinweg trainiert und verglichen werden kann. Die Ablationen liefern konkrete Designhinweise: Objekt-Token variabler Länge und Konditionierung per Cross-Attention schlagen Rohpixel-Tokenizer und reine Decoder-Konditionierung, am deutlichsten bei kleinen Modellen und neuen Aufgaben.
Problem
Roboteraufgaben werden in unterschiedlichen Formen spezifiziert, etwa als One-Shot-Demonstrationen, sprachliche Anweisungen und visuelle Ziele, und meist mit spezialisierten Modellen mit eigenen Architekturen, Zielfunktionen und Datenpipelines angegangen. Kein Benchmark bot eine Sammlung von Aufgaben mit multimodalen Prompts samt systematischem Test der Generalisierung.
Lösungsansatz
Aufgaben werden als Prompts geschrieben, in denen sich Text und Bilder abwechseln. VIMA kodiert den Prompt mit einem vortrainierten T5-Base-Encoder, wandelt Bilder in Objekt-Token um (Bounding Boxes aus Mask R-CNN plus mit ViT kodierte Ausschnitte) und dekodiert diskretisierte Endeffektor-Posen für Pick-and-Place oder Schieben mit einem Transformer, der kausale Self-Attention und Cross-Attention auf den Prompt abwechselt. Trainiert wird per Behavior Cloning auf VIMA-Bench, einer Erweiterung von Ravens/PyBullet mit 17 Aufgabenvorlagen, 650.000 erfolgreichen Experten-Trajektorien (50.000 pro Aufgabe, Abschnitt 3; das Abstract rundet dies auf über 600.000) und einem vierstufigen Generalisierungsprotokoll.
Wichtigste Erkenntnisse
- Objekt-Token übertreffen Rohpixel-Tokenizer (Bildausschnitte, Image Perceiver, Einzelbild-Token); die Autoren vermuten, dass Pixel-Tokenizer Kapazität darauf verwenden, Objekte aus Pixeln herauszulesen.
- Objekte auf eine feste Zahl von Token herunterzurechnen (Object Perceiver) ist deutlich schlechter, als die Objektsequenz variabler Länge weiterzugeben, selbst bei denselben Bounding-Box-Eingaben.
- Konditionierung per Cross-Attention zählt am meisten bei kleinen Modellgrößen und bei den neuen Aufgaben auf L4; eine reine Decoder-Variante erreicht in größeren Modellen vergleichbare Leistung.
- Die Größe des Prompt-Encoders (T5 small 30 Mio., base 111 Mio., large 368 Mio.) machte keinen signifikanten Unterschied, daher ist T5-Base der Standard.
- Mit Objekt-Augmentierung (zufällig eingefügte falsch-positive Detektionen) verliert das feinabgestimmte Mask R-CNN gegenüber Ground-Truth-Boxen nur wenig Leistung.
Hauptergebnisse
- Controller mit 200 Mio. Parametern: 81,5 % (L1), 81,5 % (L2), 78,7 % (L3) und 48,6 % (L4) durchschnittliche Erfolgsquote auf VIMA-Bench gegenüber 58,0 %, 53,1 %, 46,0 % und 16,8 % für VIMA-Gato.
- L4 (neue Aufgaben) mit einem Controller mit 20 Mio. Parametern: 48,8 % für VIMA gegenüber 12,3 % für VIMA-Gato, die Grundlage der relativen Verbesserung um 'bis zum 2,9-Fachen'.
- Mit 10 % der Daten trainiert, erreicht VIMA auf L4 46 % gegenüber 12,2 % für VIMA-Gato mit dem vollständigen Datensatz (die Angabe '2,7-mal').
- Mit 1 % der Daten schneidet VIMA auf L1 und L2 ähnlich ab wie Baselines, die mit 10-mal mehr Daten trainiert wurden.
- Auf schwierigeren Stufen zeigt VIMA von L1 zu L2 und L3 kaum Rückgang, während Baselines um bis zu 20 % nachlassen; sein Rückgang auf L4 ist halb so groß wie der der Baselines.
Einschränkungen
- Stützt sich auf einen separaten Objektdetektor und übernimmt dessen Fehler, die bei Verdeckung oder bei Objektformen außerhalb der Trainingsverteilung auftreten können.
- Begrenzte Realitätsnähe des Simulators und begrenzte Aufgabenkomplexität: VIMA-Bench zielt auf Multitask-Fähigkeit, Generalisierung und multimodales Verständnis, nicht auf physikalischen Realismus.
- Begrenzte Aktionsprimitive: nur die High-Level-Aktionen Pick-and-Place und Schieben/Wischen aus Transporter; Steuerung auf niedrigerer Ebene wie Gelenkmomente würde Änderungen erfordern.
- Alle Experimente finden in der Simulation statt; das Paper berichtet keine eigenen Experimente mit echten Robotern.
- Alle Methoden, VIMA eingeschlossen, verschlechtern sich bei den neuen Aufgaben auf L4 deutlich, wo VIMA unter 50 % durchschnittlicher Erfolgsquote bleibt.
Wirkung auf das Fachgebiet
Veröffentlicht auf der ICML 2023. Semantic Scholar zählt 655 Zitierungen (14.11.2026). Die Autoren stellen die Simulationsumgebung (VIMA-Bench), den Trainingsdatensatz, den Algorithmus-Code und vortrainierte Modell-Checkpoints als Open Source bereit.
Zusammenfassung
Promptbasiertes Lernen hat sich in der Verarbeitung natürlicher Sprache als erfolgreiches Paradigma etabliert, bei dem ein einziges universelles Sprachmodell angewiesen werden kann, jede durch Eingabe-Prompts spezifizierte Aufgabe auszuführen. In der Robotik gibt es Aufgabenspezifikationen jedoch in verschiedenen Formen, etwa das Nachahmen von One-Shot-Demonstrationen, das Befolgen sprachlicher Anweisungen und das Erreichen visueller Ziele. Sie werden oft als unterschiedliche Aufgaben betrachtet und mit spezialisierten Modellen angegangen. Wir zeigen, dass sich ein breites Spektrum von Aufgaben der Robotermanipulation mit multimodalen Prompts ausdrücken lässt, in denen sich Text- und Bild-Token abwechseln. Dementsprechend entwickeln wir einen neuen Simulations-Benchmark, der aus Tausenden prozedural generierter Tischaufgaben mit multimodalen Prompts, über 600.000 Experten-Trajektorien für Imitationslernen und einem vierstufigen Evaluationsprotokoll für systematische Generalisierung besteht. Wir entwerfen einen Transformer-basierten Roboteragenten, VIMA, der diese Prompts verarbeitet und autoregressiv motorische Aktionen ausgibt. VIMA zeichnet sich durch ein Rezept aus, das starke Modellskalierbarkeit und Dateneffizienz erreicht. In der schwierigsten Zero-Shot-Generalisierungseinstellung übertrifft es alternative Designs bei gleichen Trainingsdaten um bis zum 2,9-Fachen der Aufgaben-Erfolgsquote. Mit 10-mal weniger Trainingsdaten schneidet VIMA immer noch 2,7-mal besser ab als die beste konkurrierende Variante. Code und Video-Demos sind unter https://vimalabs.github.io/ verfügbar.
Links
- arXiv 2210.03094: https://arxiv.org/abs/2210.03094
- PDF: https://arxiv.org/pdf/2210.03094v2
- Code: https://github.com/vimalabs/VIMA
- Projektseite: https://vimalabs.github.io/