Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

A Generalist Agent

Autores: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022

Licencias

  • Acceso abierto
  • Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Gato convierte texto, imágenes, propiocepción y acciones en una sola secuencia de tokens y entrena un único transformador de 1,2 mil millones de parámetros en 604 tareas, entre ellas el apilado de bloques con un brazo Sawyer real.

Por qué importa

El artículo muestra que una sola red con un solo conjunto de pesos puede jugar a Atari, describir imágenes, conversar y apilar bloques con un brazo robótico real. Sus experimentos de ajuste fino en robótica ponen a prueba si un generalista así se adapta a tareas nuevas con pocos datos: con formas de bloque no vistas, el modelo ajustado recupera la tasa de éxito del experto con 10 episodios.

Problema

Las políticas de control suelen construirse por dominio con sesgos inductivos diseñados a mano, e incluso los agentes multitarea mantienen normalmente parámetros separados para cada tarea. Los datos de robótica son escasos y cubren pocas morfologías, de modo que cada cambio de hardware implica recopilar datos nuevos y volver a entrenar.

Solución propuesta

Todos los datos se serializan en una secuencia plana de tokens: tokens de texto de SentencePiece, parches de imagen de 16×16 incrustados mediante un bloque ResNet y valores continuos codificados con ley mu y discretizados en 1024 intervalos. Un transformador de solo decodificador de 1,2 mil millones de parámetros (24 capas, tamaño de incrustación 2048) se entrena fuera de línea mediante predicción supervisada del siguiente token, con la pérdida enmascarada a los tokens de texto y de acción. La tarea se selecciona dando al modelo como prompt una demostración de esa tarea en lugar de un identificador de tarea.

Ideas clave

  • Con 79 millones, 364 millones y 1,18 mil millones de parámetros, el rendimiento dentro de la distribución mejora con el tamaño del modelo para el mismo número de tokens procesados.
  • En el ajuste fino con pocos ejemplos sobre cartpole.swingup y assembly-v2, reservadas para la evaluación, el preentrenamiento con todos los datos funcionó mejor; preentrenar solo con datos de imagen y texto no aportó ningún beneficio o produjo transferencia negativa en estas tareas que no son de imagen.
  • La transferencia no es universal: en el boxeo de Atari, reservado para la evaluación, un modelo inicializado al azar superó a todas las variantes preentrenadas, lo que los autores atribuyen a que las imágenes de Atari son visualmente distintas del resto de los datos.
  • El tamaño del modelo se limitó a la escala que permite el control en tiempo real de un robot real; para ajustarse al bucle de 20 Hz, las acciones del robot se muestrearon en un solo paso de inferencia con longitud de contexto 1.
  • Condicionar con una demostración exitosa sustituye a los identificadores de tarea y, según los autores, aísla los factores de confusión que provocan 'autoengaño' cuando las tareas comparten especificaciones de observación y de acción.

Resultados principales

  • Un solo conjunto de pesos supera el 50% de la puntuación del experto en más de 450 de las 604 tareas.
  • Sawyer RGB Stacking real, Skill Generalization (5 tripletas de formas reservadas, 200 episodios cada una): 50,2% de éxito medio, frente al 49% de la línea base de tarea única BC-IMP.
  • Skill Mastery con robot real: 75,6% de éxito medio, frente al 74,6% de BC-IMP.
  • Nueva tarea con robot real 'apilar el azul sobre el verde', con ajuste fino sobre 500 demostraciones (2 h 45 min): 60% de éxito, frente al 0,5% (1/200) de una línea base de clonación de comportamiento entrenada desde cero.
  • Ajuste fino del robot en Skill Generalization, real y simulado: iguala al experto con 10 episodios y lo supera con 100 o 1000 episodios.
  • Atari: puntuación humana media o superior en 23 juegos y más del doble de la puntuación humana en 11; Meta-World: más del 50% en 44 de 45 tareas; BabyAI BossLevel: 75%.

Limitaciones

  • El contexto está limitado a 1024 tokens; cada observación de imagen puede ocupar más de cien tokens, por lo que el agente quizá solo vea unos pocos pasos de tiempo, y el aprendizaje en contexto basado en prompts en entornos nuevos no dio una mejora significativa frente a la evaluación sin prompt.
  • No existe ningún conjunto de datos de control a escala web; Gato se entrena por imitación con datos de agentes de RL especialistas, y los autores consideran la obtención de datos adecuados una pregunta de investigación abierta.
  • En el robot real, el modelo de 1,18 mil millones de parámetros en tarjetas NVIDIA GeForce RTX 3090 seguía excediendo la frecuencia de control de 20 Hz en unos 0,01 s, incluso con longitud de contexto 1.
  • Los agentes de RL de tarea única que generaron los datos de Atari siguen superando a Gato, y sus respuestas de chat son a menudo superficiales o incorrectas en los hechos.
  • La ficha del modelo indica que no está destinado a uso comercial ni de producción, y que el sesgo de los datos de visión y lenguaje no se mitiga más allá de filtrar el contenido sexualmente explícito.

Impacto en el campo

Publicado en TMLR (noviembre de 2022) con las certificaciones Featured y Outstanding, e incluido en el ICLR 2024 Journal Track. Semantic Scholar contabiliza 1.203 citas (14 de noviembre de 2026). El artículo incluye una ficha del modelo (Apéndice A) y no ofrece ningún enlace al código ni a los pesos del modelo.

Resumen

Inspirados por los avances en el modelado de lenguaje a gran escala, aplicamos un enfoque similar para construir un único agente generalista más allá del ámbito de las salidas de texto. El agente, al que llamamos Gato, funciona como una política generalista multimodal, multitarea y entre distintas morfologías. La misma red con los mismos pesos puede jugar a Atari, describir imágenes, conversar, apilar bloques con un brazo robótico real y mucho más, y decide según su contexto si debe producir texto, pares articulares, pulsaciones de botones u otros tokens. En este informe describimos el modelo y los datos, y documentamos las capacidades actuales de Gato.

Enlaces

  • arXiv 2205.06175: https://arxiv.org/abs/2205.06175
  • PDF: https://arxiv.org/pdf/2205.06175v3

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.