GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

Auteurs: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

GeoVLA injecte un nuage de points issu de la profondeur, encodé autour de l'effecteur terminal, dans une tête d'action par diffusion aux côtés des caractéristiques du VLM, et résiste mieux aux changements de hauteur, de taille et de point de vue.

Pourquoi c'est important

Pour les ingénieurs qui adaptent des VLA à de vrais bras, l'article montre une manière d'utiliser la profondeur d'une caméra RGB-D sans réentraîner le VLM sur des données 3D. Les gains par rapport aux références 2D sont les plus importants exactement là où ces références échouent dans les tests réels : hauteurs de cible, tailles d'objets et points de vue de caméra modifiés.

Problème

La plupart des modèles vision-langage-action agissent uniquement à partir d'images RGB 2D, et manquent donc les indices de profondeur et de géométrie nécessaires à un raisonnement spatial précis. Les manières antérieures d'ajouter la 3D soit introduisent des encodages positionnels 3D dans le VLM, ce qui rompt son alignement avec l'encodeur visuel et nécessite de grands jeux de données d'instruction tuning 3D, soit figent l'expert d'action et injectent ensuite des caractéristiques de nuage de points, ce qui limite l'adaptation à la nouvelle modalité.

Solution proposée

GeoVLA conserve un VLM pré-entraîné (Prismatic-7B, initialisé à partir des poids d'OpenVLA) pour l'image et le langage, et en parallèle transforme la carte de profondeur en un nuage de points dans le repère de l'effecteur terminal, encodé par un Point Embedding Network qui utilise des convolutions à grand noyau, un encodage positionnel rotatif et le jeton de l'effecteur terminal comme ancre. Une tête d'action à Transformer de diffusion, le 3D-enhanced Action Expert, fusionne les deux ensembles de caractéristiques au moyen d'experts propres à chaque modalité avec routage statique ; elle est entraînée de bout en bout tandis qu'une modalité est abandonnée aléatoirement à chaque itération.

Idées clés

• Encoder le nuage de points dans une branche séparée, plutôt qu'à l'intérieur du VLM, préserve intact l'alignement vision-langage pré-entraîné du VLM.
• Exprimer le nuage de points dans le repère de l'effecteur terminal et utiliser le jeton de l'effecteur terminal comme ancre a donné 97,7 % sur LIBERO, contre 96,3 % pour le max pooling et 95,9 % pour le mean pooling.
• Le routage MoE dynamique a fait pencher la tête d'action vers la branche VLM pré-entraînée ; un routage statique avec abandon aléatoire de modalité a donné 97,7 %, contre 97,3 % pour le routage dynamique et 96,0 % sans MoE.
• L'encodage positionnel rotatif (RoPE) dans l'encodeur de points a fait passer la moyenne LIBERO de 95,4 % (plongements 1D appris) à 97,7 %.
• La branche 3D compte surtout pour une géométrie hors distribution : avec la caméra tournée de 45°, GeoVLA a conservé 70 % de réussite tandis que CogACT est tombé à 0 %.

Principaux résultats

• LIBERO : 97,7 % en moyenne sur cinq suites, contre 95,3 % pour OpenVLA-OFT et 93,2 % pour CogACT ; 96,6 % sur LIBERO-Long et 97,7 % sur LIBERO-90, en utilisant une seule vue de caméra principale plus son nuage de points.
• ManiSkill2 (cinq tâches de pick-and-place, 20 épisodes chacune) : 77 % en moyenne contre 69 % pour CogACT et 66 % pour Dita ; 45 % sur PickClutterYCB contre 36 % pour Dita.
• Monde réel, 8 tâches sur un bras WidowX-250s, 10 essais chacune : 86,3 % en moyenne contre 76,3 % pour CogACT, 57,5 % pour π0 et 20,0 % pour OpenVLA (95,0 % sur les tâches de base, 77,5 % sur les tâches sensibles à la 3D).
• Panier un niveau plus haut qu'à l'entraînement : 60 % contre 20 % pour π0 comme pour CogACT ; plus grande taille de poupée jamais vue : 80 % contre 50 % pour CogACT et 0 % pour π0.
• Point de vue de la caméra décalé de 15°, 30° et 45° : 90 %, 80 % et 70 %, contre 60 %, 40 % et 0 % pour CogACT.
• Ablation de l'encodeur de points sur LIBERO : Point Embedding Network 97,7 % contre 95,8 % pour un MLP à 3 couches (de type DP3) et 95,2 % pour PointNet.

Limites

• L'article n'a pas de section sur les limites ; les points ci-dessous proviennent de ses résultats rapportés et de sa configuration.
• Avec le tapis en mousse retiré dans Pick Carrot (la carotte est plus basse), GeoVLA a atteint 50 % tandis que π0 a atteint 60 %, bien que le texte affirme que GeoVLA réalise des saisies plus stables que les autres méthodes.
• Les tests réels utilisent un seul bras (WidowX-250s), une seule caméra RealSense à la troisième personne et 10 essais par configuration.
• Les changements d'éclairage nuisent encore : Stack Block est passé de 80 % à 50 % sous un changement d'éclairage, et la moyenne sur trois tâches est passée de 93,3 % à 73,3 % (annexe, Table 9).
• Sur ManiSkill2, le modèle reçoit aussi l'état proprioceptif, l'état de la pince et la position du marqueur cible, et sur PickCube (90 %) il reste en dessous de CogACT (95 %).

Impact sur le domaine

Finaliste de l'IROS 2026 Best Paper Award on Cognitive Robotics, parrainé par KROS, avec 84 citations. La page officielle du projet renvoie à un dépôt de code sur github.com/linsun449/geovla.code.

Résumé

Les modèles Vision-Langage-Action (VLA) sont apparus comme une approche prometteuse pour permettre aux robots de suivre des instructions en langage naturel et de prédire les actions correspondantes. Cependant, les modèles VLA actuels reposent principalement sur des entrées visuelles 2D, négligeant la riche information géométrique du monde physique 3D, ce qui limite leur conscience spatiale et leur adaptabilité. Dans cet article, nous présentons GeoVLA, un nouveau cadre VLA qui intègre efficacement l'information 3D pour faire progresser la manipulation robotique. Il utilise un modèle vision-langage (VLM) pour traiter les images et les instructions en langage naturel, en extrayant des plongements vision-langage fusionnés. En parallèle, il convertit les cartes de profondeur en nuages de points et emploie un encodeur de points dédié, appelé Point Embedding Network, pour générer indépendamment des plongements géométriques 3D. Ces plongements sont ensuite concaténés et traités par l'expert d'action sensible à l'espace que nous proposons, appelé 3D-enhanced Action Expert, qui combine les informations de différentes modalités de capteurs pour produire des séquences d'actions précises. À travers de nombreuses expériences en simulation et en environnement réel, GeoVLA démontre des performances et une robustesse supérieures. Il obtient des résultats à l'état de l'art sur les benchmarks de simulation LIBERO et ManiSkill2, et fait preuve d'une robustesse remarquable dans des tâches réelles qui exigent une adaptabilité en hauteur, une prise en compte de l'échelle et une invariance au point de vue. Le projet est disponible sur https://linsun449.github.io/GeoVLA.

Liens

• arXiv 2508.09071: https://arxiv.org/abs/2508.09071
• DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
• PDF: https://arxiv.org/pdf/2508.09071v1
• Code: https://github.com/linsun449/geovla.code
• Page du projet: https://linsun449.github.io/GeoVLA