A Generalist Agent
Autores: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022
Licenças
- Acesso aberto
- Artigo: CC BY 4.0
Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.
Em resumo
O Gato transforma texto, imagens, propriocepção e ações em uma única sequência de tokens e treina um único transformador de 1,2 bilhão de parâmetros em 604 tarefas, entre elas o empilhamento de blocos com um braço Sawyer real.
Por que importa
O artigo mostra que uma única rede com um só conjunto de pesos pode jogar Atari, legendar imagens, conversar e empilhar blocos com um braço robótico real. Seus experimentos de ajuste fino em robótica testam se um generalista assim se adapta a novas tarefas com poucos dados: em formatos de bloco não vistos, o modelo ajustado recupera a taxa de sucesso do especialista com 10 episódios.
Problema
Políticas de controle costumam ser construídas por domínio, com vieses indutivos projetados à mão, e mesmo agentes multitarefa normalmente mantêm parâmetros separados para cada tarefa. Os dados de robótica são escassos e cobrem poucas corporificações, de modo que cada mudança de hardware exige coletar novos dados e treinar de novo.
Solução proposta
Todos os dados são serializados em uma sequência plana de tokens: tokens de texto do SentencePiece, patches de imagem de 16×16 incorporados por um bloco ResNet e valores contínuos codificados por lei mu e discretizados em 1024 intervalos. Um transformador somente decodificador de 1,2 bilhão de parâmetros (24 camadas, dimensão de embedding 2048) é treinado offline por predição supervisionada do próximo token, com a perda mascarada para os tokens de texto e de ação. A tarefa é selecionada fornecendo ao modelo, como prompt, uma demonstração dessa tarefa em vez de um identificador de tarefa.
Principais ideias
- Com 79 milhões, 364 milhões e 1,18 bilhão de parâmetros, o desempenho dentro da distribuição melhora com o tamanho do modelo para o mesmo número de tokens processados.
- No ajuste fino com poucos exemplos em cartpole.swingup e assembly-v2, reservadas para avaliação, o pré-treinamento com todos os dados funcionou melhor; pré-treinar apenas com dados de imagem e texto não trouxe benefício ou causou transferência negativa nessas tarefas que não são de imagem.
- A transferência não é universal: no boxe do Atari, reservado para avaliação, um modelo inicializado aleatoriamente superou todas as variantes pré-treinadas, o que os autores atribuem ao fato de as imagens do Atari serem visualmente distintas dos demais dados.
- O tamanho do modelo foi limitado à escala que permite o controle em tempo real de um robô real; para caber no ciclo de 20 Hz, as ações do robô foram amostradas em um único passo de inferência com comprimento de contexto 1.
- Condicionar a uma demonstração bem-sucedida substitui os identificadores de tarefa e, segundo os autores, isola os fatores de confusão que causam 'autoilusão' quando as tarefas compartilham especificações de observação e de ação.
Principais resultados
- Um único conjunto de pesos supera 50% da pontuação do especialista em mais de 450 das 604 tarefas.
- Sawyer RGB Stacking real, Skill Generalization (5 trios de formatos reservados, 200 episódios cada): 50,2% de sucesso médio, contra 49% do baseline de tarefa única BC-IMP.
- Skill Mastery com robô real: 75,6% de sucesso médio, contra 74,6% do BC-IMP.
- Nova tarefa com robô real 'empilhar o azul sobre o verde', com ajuste fino em 500 demonstrações (2 h 45 min): 60% de sucesso, contra 0,5% (1/200) de um baseline de clonagem de comportamento treinado do zero.
- Ajuste fino do robô em Skill Generalization, real e simulado: iguala o especialista com 10 episódios e o supera com 100 ou 1000 episódios.
- Atari: pontuação humana média ou superior em 23 jogos e mais que o dobro da pontuação humana em 11; Meta-World: mais de 50% em 44 de 45 tarefas; BabyAI BossLevel: 75%.
Limitações
- O contexto é limitado a 1024 tokens; cada observação de imagem pode ocupar mais de cem tokens, então o agente pode ver apenas alguns passos de tempo, e o aprendizado em contexto baseado em prompts em novos ambientes não trouxe ganho significativo em relação à avaliação sem prompt.
- Não existe um conjunto de dados de controle em escala web; o Gato é treinado por imitação com dados de agentes de RL especialistas, e os autores consideram a obtenção de dados adequados uma questão de pesquisa em aberto.
- No robô real, o modelo de 1,18 bilhão de parâmetros em placas NVIDIA GeForce RTX 3090 ainda excedia a taxa de controle de 20 Hz em cerca de 0,01 s, mesmo com comprimento de contexto 1.
- Os agentes de RL de tarefa única que geraram os dados de Atari ainda superam o Gato, e suas respostas de chat são muitas vezes superficiais ou factualmente incorretas.
- O model card afirma que o modelo não se destina a uso comercial ou em produção, e que o viés dos dados de visão e linguagem não é mitigado além da filtragem de conteúdo sexualmente explícito.
Impacto na área
Publicado na TMLR (novembro de 2022) com as certificações Featured e Outstanding, e listado no ICLR 2024 Journal Track. O Semantic Scholar contabiliza 1.203 citações (14 de novembro de 2026). O artigo inclui um model card (Apêndice A) e não traz link para o código nem para os pesos do modelo.
Resumo
Inspirados pelo progresso na modelagem de linguagem em larga escala, aplicamos uma abordagem semelhante para construir um único agente generalista que vai além do domínio das saídas de texto. O agente, que chamamos de Gato, funciona como uma política generalista multimodal, multitarefa e entre corporificações. A mesma rede, com os mesmos pesos, pode jogar Atari, legendar imagens, conversar, empilhar blocos com um braço robótico real e muito mais, decidindo com base em seu contexto se deve gerar texto, torques das juntas, pressionamentos de botões ou outros tokens. Neste relatório, descrevemos o modelo e os dados e documentamos as capacidades atuais do Gato.
Links
- arXiv 2205.06175: https://arxiv.org/abs/2205.06175
- PDF: https://arxiv.org/pdf/2205.06175v3