Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

A Generalist Agent

Auteurs: Scott Reed, Konrad Żołna, Emilio Parisotto, Sergio Gómez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Giménez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas · TMLR 2022

Licences

  • Accès libre
  • Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Gato transforme texte, images, proprioception et actions en une seule séquence de tokens et entraîne un seul Transformer de 1,2 milliard de paramètres sur 604 tâches, dont l'empilement de blocs avec un vrai bras Sawyer.

Pourquoi c'est important

L'article montre qu'un seul réseau avec un seul jeu de poids peut jouer à Atari, légender des images, converser et empiler des blocs avec un vrai bras robotisé. Ses expériences de fine-tuning en robotique examinent si un tel généraliste s'adapte à de nouvelles tâches avec peu de données : sur des formes de blocs inédites, le modèle affiné retrouve le taux de réussite de l'expert avec 10 épisodes.

Problème

Les politiques de commande sont généralement construites domaine par domaine avec des biais inductifs conçus à la main, et même les agents multitâches conservent normalement des paramètres distincts pour chaque tâche. Les données robotiques sont rares et couvrent peu d'incarnations, si bien que chaque changement de matériel impose de collecter de nouvelles données et de réentraîner.

Solution proposée

Toutes les données sont sérialisées en une séquence plate de tokens : tokens de texte SentencePiece, patchs d'image de 16×16 plongés par un bloc ResNet, et valeurs continues encodées en mu-law puis discrétisées en 1024 intervalles. Un Transformer décodeur seul de 1,2 milliard de paramètres (24 couches, taille de plongement 2048) est entraîné hors ligne par prédiction supervisée du token suivant, la perte étant masquée pour ne porter que sur les tokens de texte et d'action. La tâche est sélectionnée en donnant au modèle, en guise de prompt, une démonstration de cette tâche au lieu d'un identifiant de tâche.

Idées clés

  • Avec 79 millions, 364 millions et 1,18 milliard de paramètres, les performances en distribution s'améliorent avec la taille du modèle pour un même nombre de tokens traités.
  • Pour le fine-tuning few-shot sur cartpole.swingup et assembly-v2, tenues à l'écart de l'entraînement, le préentraînement sur toutes les données a donné les meilleurs résultats ; le préentraînement sur les seules données d'image et de texte n'a apporté aucun bénéfice, voire un transfert négatif, sur ces tâches sans image.
  • Le transfert n'est pas universel : sur boxing d'Atari, tenu à l'écart, un modèle initialisé aléatoirement a battu toutes les variantes préentraînées, ce que les auteurs attribuent au fait que les images d'Atari sont visuellement différentes des autres données.
  • La taille du modèle a été plafonnée à l'échelle permettant la commande en temps réel d'un vrai robot ; pour tenir la boucle à 20 Hz, les actions du robot ont été échantillonnées en une seule étape d'inférence avec une longueur de contexte de 1.
  • Le conditionnement sur une démonstration réussie remplace les identifiants de tâche et, selon les auteurs, écarte les facteurs de confusion qui provoquent l''auto-illusion' lorsque des tâches partagent les mêmes spécifications d'observation et d'action.

Principaux résultats

  • Un seul jeu de poids obtient plus de 50 % du score de l'expert sur plus de 450 des 604 tâches.
  • Sawyer RGB Stacking réel, Skill Generalization (5 triplets de formes tenus à l'écart, 200 épisodes chacun) : 50,2 % de réussite moyenne, contre 49 % pour la référence monotâche BC-IMP.
  • Skill Mastery sur robot réel : 75,6 % de réussite moyenne, contre 74,6 % pour BC-IMP.
  • Nouvelle tâche sur robot réel 'stack blue on green', affinée sur 500 démonstrations (2 h 45 min) : 60 % de réussite, contre 0,5 % (1/200) pour une référence par clonage comportemental entraînée à partir de zéro.
  • Fine-tuning robotique sur Skill Generalization, réel et simulé : égale l'expert avec 10 épisodes et le dépasse à 100 ou 1000 épisodes.
  • Atari : score humain moyen ou mieux sur 23 jeux et plus du double du score humain sur 11 ; Meta-World : plus de 50 % sur 44 des 45 tâches ; BabyAI BossLevel : 75 %.

Limites

  • Le contexte est limité à 1024 tokens ; chaque observation d'image peut occuper plus d'une centaine de tokens, si bien que l'agent ne voit parfois que quelques pas de temps, et l'apprentissage en contexte par prompt sur de nouveaux environnements n'a apporté aucun gain significatif par rapport à l'évaluation sans prompt.
  • Il n'existe aucun jeu de données à l'échelle du web pour la commande ; Gato est entraîné par imitation sur des données d'agents RL spécialisés, et les auteurs qualifient l'obtention de données adaptées de question de recherche ouverte.
  • Sur le vrai robot, le modèle de 1,18 milliard de paramètres sur des NVIDIA GeForce RTX 3090 dépassait encore d'environ 0,01 s la fréquence de commande de 20 Hz, même avec une longueur de contexte de 1.
  • Les agents RL monotâches qui ont généré les données Atari restent plus performants que Gato, et ses réponses de conversation sont souvent superficielles ou factuellement fausses.
  • La fiche de modèle indique qu'il n'est pas destiné à un usage commercial ou en production, et que les biais issus des données visuelles et linguistiques ne sont pas atténués au-delà du filtrage des contenus sexuellement explicites.

Impact sur le domaine

Publié dans TMLR (novembre 2022) avec les certifications Featured et Outstanding, et retenu pour le Journal Track d'ICLR 2024. Semantic Scholar recense 1 203 citations (14 novembre 2026). L'article comprend une fiche de modèle (annexe A) et ne donne aucun lien vers le code ou les poids du modèle.

Résumé

Inspirés par les progrès de la modélisation du langage à grande échelle, nous appliquons une approche similaire pour construire un agent généraliste unique, au-delà du domaine des sorties textuelles. L'agent, que nous appelons Gato, fonctionne comme une politique généraliste multimodale, multitâche et multi-incarnation. Le même réseau avec les mêmes poids peut jouer à Atari, légender des images, converser, empiler des blocs avec un vrai bras robotisé et bien plus encore, en décidant selon son contexte s'il doit produire du texte, des couples articulaires, des appuis sur des boutons ou d'autres tokens. Dans ce rapport, nous décrivons le modèle et les données, et documentons les capacités actuelles de Gato.

Liens

  • arXiv 2205.06175: https://arxiv.org/abs/2205.06175
  • PDF: https://arxiv.org/pdf/2205.06175v3

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.