GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

Auteurs: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un modèle de type GPT pré-entraîné à prédire la vidéo sur 38M clips du web, puis affiné pour produire des images futures et des trajectoires d'action ; 97,7 % de réussite sur 105 tâches réelles sur table.

Pourquoi c'est important

Le rapport montre que la vidéo du web peut porter une grande partie des connaissances qu'une politique de manipulation devrait sinon tirer de données robotiques : GR-2 atteint 73,9 % de réussite sur 105 tâches avec seulement environ 50 démonstrations par tâche et double à peu près la réussite de GR-1 sur des arrière-plans et des cuisines inédits. Ses tests de bin picking sur 122 objets, y compris des objets transparents, déformables et réfléchissants, visent une tâche industrielle dont les auteurs notent qu'elle peut être difficile pour les méthodes fondées sur des modèles.

Problème

La collecte de données robotiques à grande échelle est lente et les systèmes robotiques réels passent mal à l'échelle, ce qui limite le degré de généralité d'une politique de manipulation. Un agent généraliste doit apprendre de nombreuses compétences tout en faisant face à de nouveaux arrière-plans, environnements, objets et instructions. Le précédent GR-1 des auteurs a montré que le pré-entraînement par génération vidéo aide l'apprentissage de politique, mais il utilisait 0,8 million de vidéos et généralisait faiblement aux scènes inédites.

Solution proposée

GR-2 est un transformer de type GPT conditionné par le langage : un encodeur de texte gelé tokenise l'instruction, un VQGAN gelé transforme chaque image en tokens discrets, et les états du robot (pose de l'effecteur terminal et état de la pince) passent par des couches linéaires. Il est d'abord pré-entraîné à prédire les images futures sur 38 millions de clips texte-vidéo (plus de 50 milliards de tokens selon le résumé, environ 50 milliards selon la Section 2.1) issus de jeux de données d'activités humaines et de jeux de données robotiques publics, puis affiné sur des données robotiques multivues pour prédire des images futures ainsi qu'une trajectoire d'action issue d'un VAE conditionnel. Sur le bras réel, un algorithme de commande du corps entier lisse la trajectoire cartésienne et la convertit en commandes articulaires exécutées à 200 Hz avec des contraintes de collision.

Idées clés

• Passer le pré-entraînement des 0,8 million de vidéos de GR-1 à 38 millions de clips, avec une architecture conçue pour transporter les connaissances pré-entraînées jusqu'à l'affinage, a à peu près doublé la réussite de GR-1 dans les configurations Unseen Backgrounds et Unseen Environments.
• Générer des trajectoires d'action plutôt que des actions à pas unique s'est révélé crucial à la fois pour la fluidité des trajectoires et pour les performances en temps réel.
• Les vidéos prédites s'alignent étroitement sur les exécutions réelles, si bien que la sortie d'action « rejoue » de fait la vidéo prédite ; les auteurs suggèrent d'améliorer la génération vidéo comme voie vers de meilleures actions.
• L'augmentation synthétique (insertion d'objets par diffusion, remplacement de l'arrière-plan fondé sur SAM, régénération vidéo) a fait passer la réussite en Unseen Environments de 71,7 % à 87,0 %.
• La perte de validation de la prédiction vidéo et le taux de réussite sur robot réel se sont tous deux améliorés lorsque les paramètres entraînables sont passés de 30M à 719M.

Principaux résultats

• Apprentissage multitâche : 97,7 % de réussite moyenne sur 105 tâches sur table couvrant 8 compétences dans la configuration Simple, après affinage sur environ 40 000 trajectoires téléopérées.
• Généralisation : 71,4 % en Unseen Backgrounds et 71,7 % en Unseen Environments, environ le double de GR-1 ; avec augmentation de données, 87,0 % en Unseen Environments et 74,7 % en moyenne sur les trois configurations de généralisation ; 55,8 % en Unseen Manipulation.
• Entraînement avec peu de données, environ 50 trajectoires par tâche (environ 1/8 des données) : 73,9 % dans la configuration Simple, en battant GR-1 dans les trois configurations de généralisation.
• Bin picking de bout en bout entraîné sur environ 94 000 trajectoires de 55 objets et testé sur 122 objets (67 inédits) : réussite moyenne de 79,0 % contre 33,3 % pour GR-1.
• CALVIN ABCD→D : 98,6 % de réussite pour 1 tâche et 85,9 % pour 5 tâches d'affilée (GR-1 : 94,9 % et 73,1 %), la longueur moyenne passant de 4,21 à 4,64.
• Le modèle par défaut compte 230M paramètres, dont 95M entraînables ; les essais de passage à l'échelle utilisent 30M, 95M, 312M et 719M paramètres entraînables.

Limites

• Les auteurs identifient la manipulation inédite comme le point le plus faible (55,8 %) ; les échecs typiques sont de ne pas saisir des objets inédits aux formes nouvelles et de saisir le mauvais objet lorsqu'un objet inédit est demandé.
• Les travaux futurs qu'ils annoncent consistent à améliorer la généralisation et la robustesse de la prédiction d'actions, en particulier pour les objets nouveaux et les nouvelles compétences.
• Tous les résultats sur robot réel proviennent d'une seule plateforme, un bras Kinova Gen3 avec une pince Robotiq 2F-85 ; le transfert à d'autres incarnations n'est pas testé.
• Le rapport ne donne aucun chiffre sur le calcul d'entraînement, le matériel d'inférence ou la latence de la politique, et la plupart des valeurs par configuration n'apparaissent que dans des figures.
• Le texte n'indique aucune publication du code, des poids du modèle ou des jeux de données robotiques.

Impact sur le domaine

Ce rapport technique de ByteDance Research compte 377 citations. Il renvoie à une page de projet (gr2-manipulation.github.io) ; le texte n'indique aucune publication du code, des poids du modèle ou des données.

Résumé

Nous présentons GR-2, un agent robotique généraliste à l'état de l'art pour une manipulation robotique polyvalente et généralisable. GR-2 est d'abord pré-entraîné sur un très grand nombre de vidéos d'Internet afin de capturer la dynamique du monde. Ce pré-entraînement à grande échelle, impliquant 38 millions de clips vidéo et plus de 50 milliards de tokens, dote GR-2 de la capacité de généraliser à un large éventail de tâches et d'environnements robotiques lors de l'apprentissage de politique qui suit. Ensuite, GR-2 est affiné à la fois pour la génération vidéo et la prédiction d'actions à l'aide de trajectoires de robot. Il présente des capacités d'apprentissage multitâche impressionnantes, atteignant un taux de réussite moyen de 97,7 % sur plus de 100 tâches. De plus, GR-2 démontre une généralisation exceptionnelle à des scénarios nouveaux, jamais vus auparavant, notamment de nouveaux arrière-plans, environnements, objets et tâches. Notamment, GR-2 passe efficacement à l'échelle avec la taille du modèle, ce qui souligne son potentiel de croissance et d'application continues. Page du projet : https://gr2-manipulation.github.io.

Liens

• arXiv 2410.06158: https://arxiv.org/abs/2410.06158
• DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
• PDF: https://arxiv.org/pdf/2410.06158v1
• Page du projet: https://gr2-manipulation.github.io/