GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

Autoren: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Modell im GPT-Stil, auf 38M Web-Clips zur Videovorhersage vortrainiert und dann so feinabgestimmt, dass es zukünftige Frames und Aktionstrajektorien ausgibt; 97,7 % Erfolg bei 105 realen Tischaufgaben.

Warum es wichtig ist

Der Bericht zeigt, dass Webvideos einen Großteil des Wissens tragen können, das eine Manipulations-Policy sonst aus Roboterdaten bräuchte: GR-2 erreicht 73,9 % Erfolg bei 105 Aufgaben mit nur etwa 50 Demonstrationen pro Aufgabe und verdoppelt ungefähr den Erfolg von GR-1 bei ungesehenen Hintergründen und Küchen. Seine Bin-Picking-Tests mit 122 Objekten, darunter transparente, verformbare und spiegelnde Gegenstände, zielen auf eine industrielle Aufgabe, die nach Angabe der Autoren für modellbasierte Methoden schwierig sein kann.

Problem

Das Sammeln großer Mengen an Roboterdaten ist langsam und reale Robotersysteme skalieren schlecht, was begrenzt, wie allgemein eine Manipulations-Policy werden kann. Ein generalistischer Agent muss viele Fähigkeiten lernen und dennoch mit neuen Hintergründen, Umgebungen, Objekten und Anweisungen zurechtkommen. Das frühere GR-1 der Autoren zeigte, dass Vortraining durch Videogenerierung dem Policy-Lernen hilft, nutzte aber 0,8 Millionen Videos und generalisierte schwach auf ungesehene Szenen.

Lösungsansatz

GR-2 ist ein sprachkonditionierter Transformer im GPT-Stil: Ein eingefrorener Textencoder tokenisiert die Anweisung, ein eingefrorenes VQGAN wandelt jedes Frame in diskrete Tokens um, und Roboterzustände (Endeffektorpose und Greiferzustand) durchlaufen lineare Schichten. Es wird zunächst darauf vortrainiert, zukünftige Frames auf 38 Millionen Text-Video-Clips (laut Abstract über 50 Milliarden Tokens, laut Section 2.1 etwa 50 Milliarden) aus Datensätzen menschlicher Aktivitäten und öffentlichen Roboterdatensätzen vorherzusagen, und dann auf Multi-View-Roboterdaten feinabgestimmt, um zukünftige Bilder zusammen mit einer Aktionstrajektorie aus einem konditionalen VAE vorherzusagen. Auf dem realen Arm glättet ein Ganzkörper-Regelungsalgorithmus die kartesische Trajektorie und wandelt sie in Gelenkkommandos um, die mit 200 Hz unter Kollisionsbeschränkungen ausgeführt werden.

Wichtigste Erkenntnisse

Die Skalierung des Vortrainings von den 0,8 Millionen Videos von GR-1 auf 38 Millionen Clips, zusammen mit einer Architektur, die vortrainiertes Wissen in das Fine-Tuning überträgt, verdoppelte ungefähr den Erfolg von GR-1 in den Settings Unseen Backgrounds und Unseen Environments.
Die Erzeugung von Aktionstrajektorien statt Einzelschrittaktionen erwies sich als entscheidend sowohl für glatte Trajektorien als auch für Echtzeitleistung.
Vorhergesagte Videos stimmen eng mit realen Rollouts überein, sodass die Aktionsausgabe das vorhergesagte Video praktisch 'nachspielt'; die Autoren schlagen eine bessere Videogenerierung als Weg zu besseren Aktionen vor.
Synthetische Augmentierung (diffusionsbasiertes Einfügen von Objekten, SAM-basierter Austausch des Hintergrunds, Neugenerierung von Videos) steigerte den Erfolg in Unseen Environments von 71,7 % auf 87,0 %.
Validierungsverlust der Videovorhersage und Erfolgsrate auf dem realen Roboter verbesserten sich beide, als die trainierbaren Parameter von 30M auf 719M wuchsen.

Hauptergebnisse

Multi-Task-Lernen: 97,7 % durchschnittlicher Erfolg bei 105 Tischaufgaben mit 8 Fähigkeiten im Simple-Setting, nach Fine-Tuning auf etwa 40.000 teleoperierten Trajektorien.
Generalisierung: 71,4 % bei Unseen Backgrounds und 71,7 % bei Unseen Environments, etwa das Doppelte von GR-1; mit Datenaugmentierung 87,0 % bei Unseen Environments und 74,7 % im Mittel über die drei Generalisierungs-Settings; 55,8 % bei Unseen Manipulation.
Training mit wenig Daten, etwa 50 Trajektorien pro Aufgabe (etwa 1/8 der Daten): 73,9 % im Simple-Setting, wobei GR-1 in allen drei Generalisierungs-Settings übertroffen wird.
End-to-End-Bin-Picking, trainiert auf etwa 94.000 Trajektorien von 55 Objekten und getestet an 122 Objekten (67 ungesehen): durchschnittlicher Erfolg 79,0 % gegenüber 33,3 % für GR-1.
CALVIN ABCD→D: 98,6 % Erfolg für 1 Aufgabe und 85,9 % für 5 Aufgaben in Folge (GR-1: 94,9 % und 73,1 %), wobei die durchschnittliche Länge von 4,21 auf 4,64 steigt.
Das Standardmodell hat 230M Parameter, davon 95M trainierbar; Skalierungsläufe verwenden 30M, 95M, 312M und 719M trainierbare Parameter.

Einschränkungen

Die Autoren nennen ungesehene Manipulation als schwächsten Bereich (55,8 %); typische Fehler sind, dass ungesehene Objekte neuartiger Form nicht gegriffen werden und dass das falsche Objekt gegriffen wird, wenn nach einem ungesehenen gefragt wird.
Als künftige Arbeit nennen sie die Verbesserung von Generalisierung und Robustheit der Aktionsvorhersage, insbesondere für neuartige Objekte und neue Fähigkeiten.
Alle Ergebnisse auf realen Robotern stammen von einer einzigen Plattform, einem Kinova-Gen3-Arm mit einem Robotiq-2F-85-Greifer; die Übertragung auf andere Embodiments wird nicht getestet.
Der Bericht nennt keine Angaben zu Trainingsrechenaufwand, Inferenzhardware oder Policy-Latenz, und die meisten Werte pro Setting erscheinen nur in Abbildungen.
Der Text nennt keine Veröffentlichung von Code, Modellgewichten oder den Roboterdatensätzen.

Wirkung auf das Fachgebiet

Dieser technische Bericht von ByteDance Research hat 377 Zitierungen. Er verlinkt eine Projektseite (gr2-manipulation.github.io); der Text nennt keine Veröffentlichung von Code, Modellgewichten oder Daten.

Zusammenfassung

Wir stellen GR-2 vor, einen hochmodernen generalistischen Roboteragenten für vielseitige und generalisierbare Robotermanipulation. GR-2 wird zunächst auf einer großen Zahl von Internetvideos vortrainiert, um die Dynamik der Welt zu erfassen. Dieses groß angelegte Vortraining mit 38 Millionen Videoclips und über 50 Milliarden Tokens befähigt GR-2, beim anschließenden Policy-Lernen über ein breites Spektrum von Roboteraufgaben und Umgebungen hinweg zu generalisieren. Danach wird GR-2 mithilfe von Robotertrajektorien sowohl für die Videogenerierung als auch für die Aktionsvorhersage feinabgestimmt. Es zeigt beeindruckende Multi-Task-Lernfähigkeiten und erreicht eine durchschnittliche Erfolgsrate von 97,7 % über mehr als 100 Aufgaben. Darüber hinaus zeigt GR-2 eine außergewöhnliche Generalisierung auf neue, zuvor ungesehene Szenarien, einschließlich neuer Hintergründe, Umgebungen, Objekte und Aufgaben. Bemerkenswert ist, dass GR-2 effektiv mit der Modellgröße skaliert, was sein Potenzial für weiteres Wachstum und weitere Anwendungen unterstreicht. Projektseite: https://gr2-manipulation.github.io.

Open Source Robotics