A Generalist Agent
Autori: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
Gato trasforma testo, immagini, propriocezione e azioni in un'unica sequenza di token e addestra un solo Transformer da 1,2 miliardi di parametri su 604 compiti, tra cui l'impilamento di blocchi con un braccio Sawyer reale.
Perché è importante
L'articolo mostra che una sola rete con un solo insieme di pesi può giocare ad Atari, generare didascalie per immagini, conversare e impilare blocchi con un braccio robotico reale. I suoi esperimenti di fine-tuning in robotica verificano se un generalista di questo tipo si adatta a nuovi compiti con pochi dati: su forme di blocchi mai viste, il modello sottoposto a fine-tuning recupera il tasso di successo dell'esperto con 10 episodi.
Problema
Le policy di controllo vengono di solito costruite per singolo dominio con bias induttivi progettati a mano, e anche gli agenti multi-task mantengono normalmente parametri separati per ciascun compito. I dati di robotica sono scarsi e coprono pochi embodiment, quindi ogni modifica dell'hardware comporta la raccolta di nuovi dati e un nuovo addestramento.
Soluzione proposta
Tutti i dati vengono serializzati in una sequenza piatta di token: token di testo SentencePiece, patch di immagine 16×16 incorporate da un blocco ResNet e valori continui codificati con legge mu e discretizzati in 1024 intervalli. Un Transformer solo decoder da 1,2 miliardi di parametri (24 strati, dimensione dell'embedding 2048) viene addestrato offline con predizione supervisionata del token successivo, con la loss mascherata sui token di testo e di azione. Il compito viene selezionato fornendo al modello come prompt una dimostrazione di quel compito anziché un identificatore del compito.
Idee chiave
- Con 79 milioni, 364 milioni e 1,18 miliardi di parametri, le prestazioni in distribuzione migliorano con la dimensione del modello a parità di token elaborati.
- Nel fine-tuning few-shot su cartpole.swingup e assembly-v2, esclusi dall'addestramento, il preaddestramento su tutti i dati ha funzionato meglio; il preaddestramento solo su dati di immagini e testo non ha dato alcun beneficio o ha prodotto un trasferimento negativo su questi compiti non basati su immagini.
- Il trasferimento non è universale: sul boxing di Atari, escluso dall'addestramento, un modello inizializzato casualmente ha battuto tutte le varianti preaddestrate, cosa che gli autori attribuiscono al fatto che le immagini di Atari sono visivamente diverse dagli altri dati.
- La dimensione del modello è stata limitata alla scala che consente il controllo in tempo reale di un robot reale; per rientrare nel ciclo a 20 Hz, le azioni del robot sono state campionate in un solo passo di inferenza con lunghezza del contesto 1.
- Il condizionamento su una dimostrazione riuscita sostituisce gli identificatori del compito e, secondo gli autori, isola i fattori confondenti che causano 'autoillusione' quando i compiti condividono le specifiche di osservazione e di azione.
Risultati principali
- Un unico insieme di pesi supera il 50% del punteggio dell'esperto su oltre 450 dei 604 compiti.
- Sawyer RGB Stacking reale, Skill Generalization (5 terne di forme escluse dall'addestramento, 200 episodi ciascuna): 50,2% di successo medio, contro il 49% della baseline a compito singolo BC-IMP.
- Skill Mastery su robot reale: 75,6% di successo medio, contro il 74,6% di BC-IMP.
- Nuovo compito su robot reale 'impila il blu sul verde', con fine-tuning su 500 dimostrazioni (2 h 45 min): 60% di successo, contro lo 0,5% (1/200) di una baseline di behavior cloning addestrata da zero.
- Fine-tuning del robot su Skill Generalization, reale e simulato: eguaglia l'esperto con 10 episodi e lo supera con 100 o 1000 episodi.
- Atari: punteggio umano medio o superiore in 23 giochi e oltre il doppio del punteggio umano in 11; Meta-World: oltre il 50% in 44 compiti su 45; BabyAI BossLevel: 75%.
Limiti
- Il contesto è limitato a 1024 token; ogni osservazione di immagine può occupare oltre cento token, quindi l'agente può vedere solo pochi passi temporali, e l'apprendimento in contesto basato su prompt in nuovi ambienti non ha dato un guadagno significativo rispetto alla valutazione senza prompt.
- Non esiste un dataset per il controllo su scala web; Gato è addestrato per imitazione su dati di agenti RL specializzati, e gli autori definiscono l'acquisizione di dati adeguati una questione di ricerca aperta.
- Sul robot reale, il modello da 1,18 miliardi di parametri su schede NVIDIA GeForce RTX 3090 superava ancora di circa 0,01 s la frequenza di controllo di 20 Hz, anche con lunghezza del contesto 1.
- Gli agenti RL a compito singolo che hanno generato i dati di Atari superano ancora Gato, e le sue risposte in chat sono spesso superficiali o errate nei fatti.
- La model card afferma che il modello non è destinato a uso commerciale o in produzione e che il bias dei dati visivi e linguistici non è mitigato oltre il filtraggio dei contenuti sessualmente espliciti.
Impatto sul settore
Pubblicato su TMLR (novembre 2022) con le certificazioni Featured e Outstanding, e inserito nel Journal Track di ICLR 2024. Semantic Scholar conta 1.203 citazioni (14 novembre 2026). L'articolo include una model card (Appendice A) e non fornisce alcun link al codice o ai pesi del modello.
Abstract
Ispirati dai progressi nella modellazione del linguaggio su larga scala, applichiamo un approccio simile per costruire un unico agente generalista che va oltre l'ambito degli output testuali. L'agente, che chiamiamo Gato, funziona come una policy generalista multimodale, multi-task e cross-embodiment. La stessa rete con gli stessi pesi può giocare ad Atari, generare didascalie per immagini, conversare, impilare blocchi con un braccio robotico reale e molto altro, decidendo in base al proprio contesto se produrre testo, coppie ai giunti, pressioni di pulsanti o altri token. In questo rapporto descriviamo il modello e i dati e documentiamo le capacità attuali di Gato.
Link
- arXiv 2205.06175: https://arxiv.org/abs/2205.06175
- PDF: https://arxiv.org/pdf/2205.06175v3