OpenVLA

Modèle Vision-Langage-Action de 7B paramètres pour la manipulation robotique

Licence

MIT

Aperçu

Un modèle Vision-Langage-Action open source de 7B paramètres pour la manipulation robotique. OpenVLA est entraîné sur 970k démonstrations robotiques réelles et surpasse RT-2-X (55B) de 16,5 % en taux de réussite absolu sur 29 tâches, avec 7 fois moins de paramètres. Construit sur le modèle de langage Llama 2 associé aux encodeurs visuels DINOv2 et SigLIP, il peut être affiné sur des GPU grand public et fait preuve d'une forte capacité de généralisation dans des environnements multitâches, avec un ancrage linguistique robuste.

OpenVLA est un modèle Vision-Langage-Action (VLA) open source de 7B paramètres conçu pour la manipulation robotique généraliste. Entraîné sur 970 000 démonstrations robotiques réelles couvrant 29 tâches, il atteint des performances de pointe tout en étant 7 fois plus petit que des modèles comparables comme RT-2-X (55B paramètres). Construit sur le modèle de langage Llama 2 associé aux encodeurs visuels DINOv2 et SigLIP, OpenVLA fait preuve de capacités de généralisation exceptionnelles dans des environnements multitâches et peut être affiné sur des GPU grand public, ce qui rend l'IA robotique avancée accessible aux chercheurs et développeurs du monde entier.

Pourquoi c'est important

OpenVLA a demontre qu'un modele de 7 milliards de parametres peut surpasser des modeles beaucoup plus grands (RT-2-X a 55 milliards) pour la manipulation robotique, rendant les modeles vision-langage-action utilisables sur du materiel grand public. Il a prouve que les modeles de fondation robotiques open source peuvent rivaliser avec les alternatives proprietaires.

Le problème résolu

Les modèles de fondation robotiques precedents comme RT-2-X necessitaient une puissance de calcul enorme (55 milliards de parametres), les rendant inaccessibles a la plupart des chercheurs. OpenVLA montre que des architectures efficaces peuvent obtenir de meilleurs resultats pour une fraction du cout, democratisant la recherche sur les modèles de fondation robotiques.

Points clés

• Surpasse RT-2-X (55 milliards) de 16,5 % avec 7 fois moins de paramètres
• Construit sur Llama 2 + DINOv2 + SigLIP : s'appuie sur des modèles de base LLM et vision éprouvés
• Peut être affiné avec LoRA sur un seul GPU (les auteurs utilisent un A100)
• Entraîné sur 970K démonstrations de robots en conditions réelles
• Un ancrage linguistique solide permet de suivre des instructions sur 29 tâches

Pour qui

• Chercheurs en ML avec des budgets de calcul limites
• Laboratoires de robotique affinant des modeles pour des taches specifiques
• Etudiants explorant les modeles vision-langage-action
• Entreprises evaluant les approches de modèles de fondation robotiques

Limites

• Entraine principalement sur la manipulation sur table - limite a des scenarios similaires
• Necessite un GPU pour l'inference (non adapte au deploiement en peripherie sans optimisation)
• L'affinage necessite toujours des donnees de demonstration avec de vrais robots
• L'ancrage linguistique fonctionne mieux pour des instructions de taches simples