Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

VIMA: General Robot Manipulation with Multimodal Prompts

Auteurs: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023

Licences

  • Accès libre
  • Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Formule les tâches de manipulation comme des prompts entrelaçant texte et images, ajoute le benchmark VIMA-Bench et propose un agent à tokens d'objets et attention croisée qui généralise mieux que les conceptions de type Gato.

Pourquoi c'est important

Une seule interface de prompt couvre l'atteinte d'objectifs, l'imitation one-shot à partir de vidéo, l'ancrage de concepts nouveaux et le respect de contraintes, si bien qu'une seule politique peut être entraînée et comparée sur l'ensemble. Les ablations donnent des indications de conception concrètes : les tokens d'objets de longueur variable et le conditionnement par attention croisée l'emportent sur les tokeniseurs de pixels bruts et le conditionnement décodeur seul, surtout pour les petits modèles et les tâches nouvelles.

Problème

Les tâches robotiques sont spécifiées sous différentes formes, comme des démonstrations one-shot, des instructions en langage naturel et des objectifs visuels, et sont généralement traitées par des modèles spécialisés aux architectures, objectifs et chaînes de données distincts. Aucun benchmark ne proposait un ensemble de tâches à prompts multimodaux avec un test systématique de la généralisation.

Solution proposée

Les tâches sont rédigées comme des prompts qui entrelacent texte et images. VIMA encode le prompt avec un encodeur T5-Base préentraîné, convertit les images en tokens d'objets (boîtes englobantes de Mask R-CNN et recadrages encodés par ViT) et décode des poses discrétisées de l'effecteur final pour la saisie-dépose ou la poussée, avec un Transformer qui alterne auto-attention causale et attention croisée sur le prompt. Il est entraîné par clonage comportemental sur VIMA-Bench, une extension de Ravens/PyBullet comprenant 17 modèles de tâches, 650 000 trajectoires expertes réussies (50 000 par tâche, section 3 ; le résumé arrondit à plus de 600 000) et un protocole de généralisation à quatre niveaux.

Idées clés

  • Les tokens d'objets surpassent les tokeniseurs de pixels bruts (patchs d'image, Image Perceiver, token d'image unique) ; les auteurs font l'hypothèse que les tokeniseurs de pixels consacrent de la capacité à extraire les objets des pixels.
  • Réduire les objets à un nombre fixe de tokens (Object Perceiver) donne des résultats nettement moins bons que de transmettre la séquence d'objets de longueur variable, même avec les mêmes boîtes englobantes en entrée.
  • Le conditionnement par attention croisée compte surtout pour les petites tailles de modèle et les tâches nouvelles du niveau L4 ; une variante décodeur seul atteint des performances comparables dans les modèles plus grands.
  • La taille de l'encodeur de prompt (T5 small 30 millions, base 111 millions, large 368 millions) n'a fait aucune différence significative, d'où le choix de T5-Base par défaut.
  • Avec l'augmentation d'objets (fausses détections positives injectées aléatoirement), le Mask R-CNN affiné perd peu de performances par rapport aux boîtes de vérité terrain.

Principaux résultats

  • Contrôleur de 200 millions de paramètres : 81,5 % (L1), 81,5 % (L2), 78,7 % (L3) et 48,6 % (L4) de réussite moyenne sur VIMA-Bench, contre 58,0 %, 53,1 %, 46,0 % et 16,8 % pour VIMA-Gato.
  • L4 (tâches nouvelles) avec un contrôleur de 20 millions de paramètres : 48,8 % pour VIMA contre 12,3 % pour VIMA-Gato, base de l'amélioration relative 'jusqu'à 2,9 fois'.
  • Entraîné sur 10 % des données, VIMA atteint 46 % sur L4, contre 12,2 % pour VIMA-Gato entraîné sur le jeu de données complet (le chiffre '2,7 fois').
  • Avec 1 % des données, VIMA obtient des résultats similaires à ceux des références entraînées avec 10 fois plus de données sur L1 et L2.
  • En passant aux niveaux plus difficiles, VIMA ne régresse que très peu de L1 à L2 et L3, tandis que les références se dégradent jusqu'à 20 % ; sa baisse sur L4 est moitié moindre que celle des références.

Limites

  • Dépend d'un détecteur d'objets distinct et hérite de ses erreurs, qui peuvent survenir en cas d'occultation ou avec des formes d'objets hors distribution.
  • Réalisme du simulateur et complexité des tâches limités : VIMA-Bench vise la capacité multitâche, la généralisation et la compréhension multimodale, pas le réalisme physique.
  • Primitives d'action limitées : seules les actions de haut niveau de saisie-dépose et de poussée/essuyage issues de Transporter ; une commande de plus bas niveau, comme les couples articulaires, demanderait des modifications.
  • Toutes les expériences sont menées en simulation ; l'article ne rapporte aucune expérience propre sur robot réel.
  • Toutes les méthodes, VIMA compris, se dégradent nettement sur les tâches nouvelles du niveau L4, où VIMA reste sous 50 % de réussite moyenne.

Impact sur le domaine

Publié à ICML 2023. Semantic Scholar recense 655 citations (14 novembre 2026). Les auteurs publient en open source l'environnement de simulation (VIMA-Bench), le jeu de données d'entraînement, le code de l'algorithme et des checkpoints de modèles préentraînés.

Résumé

L'apprentissage par prompt s'est imposé comme un paradigme efficace en traitement du langage naturel, où un seul modèle de langage polyvalent peut recevoir l'instruction d'accomplir n'importe quelle tâche spécifiée par des prompts d'entrée. Pourtant, en robotique, la spécification des tâches prend diverses formes, comme l'imitation de démonstrations one-shot, le suivi d'instructions en langage naturel ou l'atteinte d'objectifs visuels. Elles sont souvent considérées comme des tâches différentes et traitées par des modèles spécialisés. Nous montrons qu'un large éventail de tâches de manipulation robotique peut être exprimé par des prompts multimodaux, qui entrelacent des tokens textuels et visuels. En conséquence, nous développons un nouveau benchmark de simulation composé de milliers de tâches sur table générées procéduralement avec des prompts multimodaux, de plus de 600 000 trajectoires expertes pour l'apprentissage par imitation et d'un protocole d'évaluation à quatre niveaux pour la généralisation systématique. Nous concevons un agent robotique fondé sur un Transformer, VIMA, qui traite ces prompts et produit des actions motrices de manière autorégressive. VIMA s'appuie sur une recette qui offre une forte capacité de mise à l'échelle du modèle et une grande efficacité en données. Dans le cadre de généralisation zero-shot le plus difficile, il surpasse les conceptions alternatives jusqu'à 2,9 fois en taux de réussite des tâches, à données d'entraînement égales. Avec 10 fois moins de données d'entraînement, VIMA reste 2,7 fois meilleur que la meilleure variante concurrente. Le code et des démonstrations vidéo sont disponibles sur https://vimalabs.github.io/

Liens

  • arXiv 2210.03094: https://arxiv.org/abs/2210.03094
  • PDF: https://arxiv.org/pdf/2210.03094v2
  • Code: https://github.com/vimalabs/VIMA
  • Page du projet: https://vimalabs.github.io/

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.