A Generalist Agent
Autoren: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022
Lizenzen
- Open Access
- Paper: CC BY 4.0
Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.
Kurz gesagt
Gato wandelt Text, Bilder, Propriozeption und Aktionen in eine einzige Token-Sequenz um und trainiert einen einzigen Transformer mit 1,2 Mrd. Parametern auf 604 Aufgaben, darunter das Stapeln von Blöcken mit einem echten Sawyer-Arm.
Warum es wichtig ist
Das Paper zeigt, dass ein Netz mit einem Satz Gewichte Atari spielen, Bilder beschreiben, chatten und mit einem echten Roboterarm Blöcke stapeln kann. Seine Fine-Tuning-Experimente in der Robotik prüfen, ob sich ein solcher Generalist mit wenig Daten an neue Aufgaben anpasst: Bei unbekannten Blockformen erreicht das feinabgestimmte Modell mit 10 Episoden wieder die Erfolgsquote des Experten.
Problem
Steuerungs-Policies werden meist pro Domäne mit handgefertigten induktiven Verzerrungen gebaut, und selbst Multitask-Agenten haben normalerweise getrennte Parameter für jede Aufgabe. Robotikdaten sind knapp und decken nur wenige Verkörperungen ab, sodass jede Hardwareänderung neue Datenerfassung und erneutes Training bedeutet.
Lösungsansatz
Alle Daten werden in eine flache Token-Sequenz serialisiert: SentencePiece-Text-Token, 16×16-Bildausschnitte, die von einem ResNet-Block eingebettet werden, und kontinuierliche Werte, die mu-law-kodiert und in 1024 Intervalle diskretisiert werden. Ein reiner Decoder-Transformer mit 1,2 Mrd. Parametern (24 Schichten, Einbettungsgröße 2048) wird offline durch überwachte Vorhersage des nächsten Tokens trainiert, wobei der Loss auf Text- und Aktions-Token maskiert ist. Die Aufgabe wird gewählt, indem das Modell statt mit einer Aufgabenkennung mit einer Demonstration aus dieser Aufgabe gepromptet wird.
Wichtigste Erkenntnisse
- Über 79 Mio., 364 Mio. und 1,18 Mrd. Parameter hinweg steigt die In-Distribution-Leistung bei gleicher Zahl verarbeiteter Token mit der Modellgröße.
- Beim Few-Shot-Fine-Tuning auf den zurückgehaltenen Aufgaben cartpole.swingup und assembly-v2 funktionierte Vortraining auf allen Daten am besten; Vortraining nur auf Bild- und Textdaten brachte bei diesen Nicht-Bild-Aufgaben keinen Nutzen oder negativen Transfer.
- Transfer ist nicht universell: Beim zurückgehaltenen Atari-Spiel Boxing schlug ein zufällig initialisiertes Modell jede vortrainierte Variante, was die Autoren darauf zurückführen, dass sich Atari-Bilder visuell deutlich von den übrigen Daten unterscheiden.
- Die Modellgröße wurde auf die Größenordnung begrenzt, die Echtzeitsteuerung eines echten Roboters erlaubt; um die 20-Hz-Schleife einzuhalten, wurden Roboteraktionen in einem einzigen Inferenzschritt mit Kontextlänge 1 gesampelt.
- Die Konditionierung auf eine erfolgreiche Demonstration ersetzt Aufgabenkennungen und schirmt nach Ansicht der Autoren Störfaktoren ab, die 'Selbsttäuschung' verursachen, wenn Aufgaben dieselben Beobachtungs- und Aktionsspezifikationen haben.
Hauptergebnisse
- Ein einziger Satz Gewichte erzielt bei über 450 der 604 Aufgaben mehr als 50 % der Expertenpunktzahl.
- Echtes Sawyer RGB Stacking, Skill Generalization (5 zurückgehaltene Form-Tripel, je 200 Episoden): 50,2 % durchschnittliche Erfolgsquote gegenüber 49 % für die Single-Task-Baseline BC-IMP.
- Skill Mastery auf dem echten Roboter: 75,6 % durchschnittliche Erfolgsquote gegenüber 74,6 % für BC-IMP.
- Neue Aufgabe auf dem echten Roboter 'stack blue on green', feinabgestimmt auf 500 Demonstrationen (2 h 45 min): 60 % Erfolg gegenüber 0,5 % (1/200) für eine von Grund auf trainierte Behavior-Cloning-Baseline.
- Roboter-Fine-Tuning auf Skill Generalization, real und simuliert: erreicht mit 10 Episoden das Niveau des Experten und übertrifft ihn bei 100 oder 1000 Episoden.
- Atari: durchschnittliche menschliche Punktzahl oder besser bei 23 Spielen und mehr als das Doppelte bei 11; Meta-World: über 50 % bei 44 von 45 Aufgaben; BabyAI BossLevel: 75 %.
Einschränkungen
- Der Kontext ist auf 1024 Token begrenzt; Bildbeobachtungen können jeweils über hundert Token belegen, sodass der Agent womöglich nur wenige Zeitschritte sieht, und promptbasiertes In-Context-Learning in neuen Umgebungen brachte keinen signifikanten Gewinn gegenüber der Auswertung ohne Prompt.
- Es gibt keinen Datensatz im Web-Maßstab für Steuerung; Gato wird per Imitation auf Daten spezialisierter RL-Agenten trainiert, und die Autoren bezeichnen die Beschaffung geeigneter Daten als offene Forschungsfrage.
- Auf dem echten Roboter überschritt das 1,18-Mrd.-Modell auf NVIDIA GeForce RTX 3090 die Steuerrate von 20 Hz selbst mit Kontextlänge 1 noch um etwa 0,01 s.
- Die Single-Task-RL-Agenten, die die Atari-Daten erzeugt haben, sind Gato weiterhin überlegen, und seine Chat-Antworten sind oft oberflächlich oder sachlich falsch.
- Laut Model Card ist das Modell nicht für kommerzielle oder produktive Nutzung vorgesehen, und Verzerrungen aus den Bild- und Sprachdaten werden über das Herausfiltern sexuell expliziter Inhalte hinaus nicht gemindert.
Wirkung auf das Fachgebiet
Veröffentlicht in TMLR (11/2022) mit Featured- und Outstanding-Zertifizierung und für den ICLR 2024 Journal Track gelistet. Semantic Scholar zählt 1.203 Zitierungen (14.11.2026). Das Paper enthält eine Model Card (Anhang A) und nennt keinen Link zu Code oder Modellgewichten.
Zusammenfassung
Inspiriert von den Fortschritten bei großskaligen Sprachmodellen wenden wir einen ähnlichen Ansatz an, um einen einzigen generalistischen Agenten zu bauen, der über den Bereich der Textausgaben hinausgeht. Der Agent, den wir Gato nennen, arbeitet als multimodale, multitaskfähige, verkörperungsübergreifende generalistische Policy. Dasselbe Netz mit denselben Gewichten kann Atari spielen, Bilder beschreiben, chatten, mit einem echten Roboterarm Blöcke stapeln und vieles mehr, und entscheidet anhand seines Kontexts, ob es Text, Gelenkmomente, Tastendrücke oder andere Token ausgibt. In diesem Bericht beschreiben wir das Modell und die Daten und dokumentieren die aktuellen Fähigkeiten von Gato.
Links
- arXiv 2205.06175: https://arxiv.org/abs/2205.06175
- PDF: https://arxiv.org/pdf/2205.06175v3