GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

Autores: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

GeoVLA introduce una nube de puntos derivada de la profundidad, codificada en torno al efector final, en un cabezal de acción de difusión junto a las características del VLM, y resiste mejor los cambios de altura, tamaño y punto de vista.

Por qué importa

Para los ingenieros que adaptan VLA a brazos reales, el artículo muestra una forma de usar la profundidad de una cámara RGB-D sin reentrenar el VLM con datos 3D. Las mejoras sobre los baselines 2D son mayores justo donde esos baselines fallan en las pruebas reales: alturas del objetivo, tamaños de objeto y puntos de vista de la cámara modificados.

Problema

La mayoría de los modelos de visión-lenguaje-acción actúan solo a partir de imágenes RGB 2D, por lo que pierden las señales de profundidad y geométricas necesarias para un razonamiento espacial preciso. Las formas anteriores de añadir 3D o bien introducían codificaciones posicionales 3D en el VLM, lo que rompe su alineación con el codificador visual y requiere grandes conjuntos de datos de ajuste por instrucciones en 3D, o bien congelaban el experto de acción e inyectaban después características de nube de puntos, lo que limita la adaptación a la nueva modalidad.

Solución propuesta

GeoVLA conserva un VLM preentrenado (Prismatic-7B, inicializado con los pesos de OpenVLA) para la imagen y el lenguaje, y en paralelo convierte el mapa de profundidad en una nube de puntos en el marco del efector final, codificada por una Point Embedding Network que usa convoluciones de kernel grande, codificación posicional rotatoria y el token del efector final como ancla. Un cabezal de acción Diffusion Transformer, el 3D-enhanced Action Expert, fusiona ambos conjuntos de características mediante expertos específicos de cada modalidad con enrutamiento estático; se entrena de extremo a extremo mientras se descarta aleatoriamente una modalidad en cada iteración.

Ideas clave

• Codificar la nube de puntos en una rama separada, en lugar de dentro del VLM, mantiene intacta la alineación visión-lenguaje preentrenada del VLM.
• Expresar la nube de puntos en el marco del efector final y usar el token del efector final como ancla dio un 97,7 % en LIBERO, frente al 96,3 % con max pooling y el 95,9 % con mean pooling.
• El enrutamiento dinámico de MoE sesgaba el cabezal de acción hacia la rama del VLM preentrenado; el enrutamiento estático con abandono aleatorio de modalidades dio un 97,7 %, frente al 97,3 % con enrutamiento dinámico y el 96,0 % sin MoE.
• La codificación posicional rotatoria (RoPE) en el codificador de puntos elevó la media en LIBERO del 95,4 % (embeddings 1D aprendibles) al 97,7 %.
• La rama 3D importa sobre todo para geometrías fuera de distribución: con la cámara girada 45°, GeoVLA mantuvo un 70 % de éxito mientras que CogACT cayó al 0 %.

Resultados principales

• LIBERO: 97,7 % de media en cinco suites, frente al 95,3 % de OpenVLA-OFT y el 93,2 % de CogACT; 96,6 % en LIBERO-Long y 97,7 % en LIBERO-90, usando solo una vista de cámara principal más su nube de puntos.
• ManiSkill2 (cinco tareas de pick-and-place, 20 episodios cada una): 77 % de media frente al 69 % de CogACT y el 66 % de Dita; 45 % en PickClutterYCB frente al 36 % de Dita.
• Mundo real, 8 tareas en un brazo WidowX-250s, 10 ensayos cada una: 86,3 % de media frente al 76,3 % de CogACT, el 57,5 % de π0 y el 20,0 % de OpenVLA (95,0 % en tareas básicas, 77,5 % en tareas que requieren conciencia 3D).
• Cesta un nivel más alta que en el entrenamiento: 60 % frente al 20 % tanto de π0 como de CogACT; mayor tamaño de muñeco no visto: 80 % frente al 50 % de CogACT y el 0 % de π0.
• Punto de vista de la cámara desplazado 15°, 30° y 45°: 90 %, 80 % y 70 %, frente al 60 %, 40 % y 0 % de CogACT.
• Ablación del codificador de puntos en LIBERO: Point Embedding Network 97,7 % frente al 95,8 % de un MLP de 3 capas (al estilo DP3) y el 95,2 % de PointNet.

Limitaciones

• El artículo no tiene una sección propia de limitaciones; los puntos siguientes proceden de sus resultados y su configuración.
• Sin la alfombrilla de esponja en Pick Carrot (la zanahoria queda más baja), GeoVLA alcanzó el 50 % mientras que π0 alcanzó el 60 %, aunque el texto dice que GeoVLA logra agarres más estables que los otros métodos.
• Las pruebas en el mundo real usan un solo brazo (WidowX-250s), una cámara RealSense en tercera persona y 10 ensayos por configuración.
• Los cambios de iluminación siguen perjudicando: Stack Block bajó del 80 % al 50 % con un cambio de luz, y la media de las tres tareas bajó del 93,3 % al 73,3 % (Tabla 9 del apéndice).
• En ManiSkill2 el modelo también recibe el estado propioceptivo, el estado de la pinza y la posición del marcador objetivo, y en PickCube (90 %) queda por debajo de CogACT (95 %).

Impacto en el campo

Finalista del IROS 2026 Best Paper Award on Cognitive Robotics, patrocinado por KROS, con 84 citas. La página oficial del proyecto enlaza un repositorio de código en github.com/linsun449/geovla.code.

Resumen

Los modelos de visión-lenguaje-acción (VLA) han surgido como un enfoque prometedor para que los robots sigan instrucciones en lenguaje natural y predigan las acciones correspondientes. Sin embargo, los modelos VLA actuales se basan principalmente en entradas visuales 2D y desatienden la rica información geométrica del mundo físico 3D, lo que limita su conciencia espacial y su adaptabilidad. En este artículo presentamos GeoVLA, un marco VLA novedoso que integra eficazmente información 3D para avanzar en la manipulación robótica. Utiliza un modelo de visión y lenguaje (VLM) para procesar imágenes e instrucciones en lenguaje, extrayendo embeddings fusionados de visión y lenguaje. En paralelo, convierte los mapas de profundidad en nubes de puntos y emplea un codificador de puntos personalizado, llamado Point Embedding Network, para generar de forma independiente embeddings geométricos 3D. Estos embeddings se concatenan después y los procesa nuestro experto de acción con conciencia espacial propuesto, llamado 3D-enhanced Action Expert, que combina información de distintas modalidades sensoriales para producir secuencias de acciones precisas. Mediante amplios experimentos tanto en simulación como en entornos del mundo real, GeoVLA demuestra un rendimiento y una robustez superiores. Logra resultados del estado del arte en los benchmarks de simulación LIBERO y ManiSkill2, y muestra una robustez notable en tareas del mundo real que requieren adaptabilidad a la altura, conciencia de la escala e invariancia al punto de vista. El proyecto está disponible en https://linsun449.github.io/GeoVLA.

Enlaces

• arXiv 2508.09071: https://arxiv.org/abs/2508.09071
• DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
• PDF: https://arxiv.org/pdf/2508.09071v1
• Código: https://github.com/linsun449/geovla.code
• Página del proyecto: https://linsun449.github.io/GeoVLA