GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

Autores: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O GeoVLA alimenta uma nuvem de pontos derivada da profundidade, codificada em torno do efetuador final, em uma cabeça de ação de difusão ao lado das características do VLM, e resiste melhor a mudanças de altura, tamanho e ponto de vista.

Por que importa

Para engenheiros que adaptam VLAs a braços reais, o artigo mostra uma forma de usar a profundidade de uma câmera RGB-D sem retreinar o VLM com dados 3D. Os ganhos sobre os baselines 2D são maiores exatamente onde esses baselines falham nos testes reais: alturas do alvo, tamanhos de objetos e pontos de vista da câmera alterados.

Problema

A maioria dos modelos visão-linguagem-ação age apenas a partir de imagens RGB 2D, por isso perde as pistas de profundidade e geométricas necessárias para um raciocínio espacial preciso. As formas anteriores de adicionar 3D ou colocavam codificações posicionais 3D no VLM, o que quebra seu alinhamento com o codificador visual e exige grandes conjuntos de dados de ajuste por instruções em 3D, ou congelavam o especialista de ação e injetavam características de nuvem de pontos depois, o que limita a adaptação à nova modalidade.

Solução proposta

O GeoVLA mantém um VLM pré-treinado (Prismatic-7B, inicializado com os pesos do OpenVLA) para imagem e linguagem e, em paralelo, transforma o mapa de profundidade em uma nuvem de pontos no referencial do efetuador final, codificada por uma Point Embedding Network que usa convoluções de kernel grande, codificação posicional rotativa e o token do efetuador final como âncora. Uma cabeça de ação Diffusion Transformer, o 3D-enhanced Action Expert, funde os dois conjuntos de características por meio de especialistas específicos de cada modalidade com roteamento estático; ela é treinada de ponta a ponta enquanto uma modalidade é descartada aleatoriamente a cada iteração.

Principais ideias

Codificar a nuvem de pontos em um ramo separado, em vez de dentro do VLM, mantém intacto o alinhamento visão-linguagem pré-treinado do VLM.
Expressar a nuvem de pontos no referencial do efetuador final e usar o token do efetuador final como âncora deu 97,7 % no LIBERO, contra 96,3 % com max pooling e 95,9 % com mean pooling.
O roteamento dinâmico do MoE enviesava a cabeça de ação para o ramo do VLM pré-treinado; o roteamento estático com descarte aleatório de modalidades deu 97,7 %, contra 97,3 % com roteamento dinâmico e 96,0 % sem MoE.
A codificação posicional rotativa (RoPE) no codificador de pontos elevou a média no LIBERO de 95,4 % (embeddings 1D aprendíveis) para 97,7 %.
O ramo 3D importa mais para geometria fora da distribuição: com a câmera girada 45°, o GeoVLA manteve 70 % de sucesso enquanto o CogACT caiu para 0 %.

Principais resultados

LIBERO: 97,7 % de média em cinco suítes, contra 95,3 % do OpenVLA-OFT e 93,2 % do CogACT; 96,6 % no LIBERO-Long e 97,7 % no LIBERO-90, usando apenas uma vista de câmera principal mais sua nuvem de pontos.
ManiSkill2 (cinco tarefas de pick-and-place, 20 episódios cada): 77 % de média contra 69 % do CogACT e 66 % do Dita; 45 % no PickClutterYCB contra 36 % do Dita.
Mundo real, 8 tarefas em um braço WidowX-250s, 10 tentativas cada: 86,3 % de média contra 76,3 % do CogACT, 57,5 % do π0 e 20,0 % do OpenVLA (95,0 % em tarefas básicas, 77,5 % em tarefas que exigem percepção 3D).
Cesto um nível mais alto que no treinamento: 60 % contra 20 % tanto do π0 quanto do CogACT; maior tamanho de boneca não visto: 80 % contra 50 % do CogACT e 0 % do π0.
Ponto de vista da câmera deslocado em 15°, 30° e 45°: 90 %, 80 % e 70 %, contra 60 %, 40 % e 0 % do CogACT.
Ablação do codificador de pontos no LIBERO: Point Embedding Network 97,7 % contra 95,8 % de um MLP de 3 camadas (estilo DP3) e 95,2 % do PointNet.

Limitações

O artigo não tem uma seção própria de limitações; os pontos abaixo vêm de seus resultados e de sua configuração.
Com o tapete de esponja removido em Pick Carrot (a cenoura fica mais baixa), o GeoVLA atingiu 50 % enquanto o π0 atingiu 60 %, embora o texto diga que o GeoVLA obtém preensões mais estáveis que os outros métodos.
Os testes no mundo real usam um único braço (WidowX-250s), uma câmera RealSense em terceira pessoa e 10 tentativas por configuração.
Mudanças de iluminação ainda prejudicam: o Stack Block caiu de 80 % para 50 % com uma mudança de luz, e a média das três tarefas caiu de 93,3 % para 73,3 % (Tabela 9 do apêndice).
No ManiSkill2 o modelo também recebe o estado proprioceptivo, o estado da garra e a posição do marcador-alvo, e no PickCube (90 %) fica abaixo do CogACT (95 %).

Impacto na área

Finalista do IROS 2026 Best Paper Award on Cognitive Robotics, patrocinado pela KROS, com 84 citações. A página oficial do projeto traz o link de um repositório de código em github.com/linsun449/geovla.code.

Resumo

Os modelos visão-linguagem-ação (VLA) surgiram como uma abordagem promissora para permitir que robôs sigam instruções em linguagem natural e prevejam as ações correspondentes. No entanto, os modelos VLA atuais dependem principalmente de entradas visuais 2D, negligenciando a rica informação geométrica do mundo físico 3D, o que limita sua percepção espacial e adaptabilidade. Neste artigo, apresentamos o GeoVLA, um arcabouço VLA inovador que integra efetivamente informação 3D para avançar a manipulação robótica. Ele usa um modelo de visão e linguagem (VLM) para processar imagens e instruções em linguagem, extraindo embeddings fundidos de visão e linguagem. Em paralelo, converte mapas de profundidade em nuvens de pontos e emprega um codificador de pontos personalizado, chamado Point Embedding Network, para gerar de forma independente embeddings geométricos 3D. Esses embeddings são então concatenados e processados pelo nosso especialista de ação com percepção espacial proposto, chamado 3D-enhanced Action Expert, que combina informações de diferentes modalidades sensoriais para produzir sequências de ações precisas. Por meio de extensos experimentos tanto em simulação quanto em ambientes do mundo real, o GeoVLA demonstra desempenho e robustez superiores. Ele alcança resultados do estado da arte nos benchmarks de simulação LIBERO e ManiSkill2 e mostra robustez notável em tarefas do mundo real que exigem adaptabilidade à altura, percepção de escala e invariância ao ponto de vista. O projeto está disponível em https://linsun449.github.io/GeoVLA.

Open Source Robotics