GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

Autori: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

GeoVLA inserisce una nuvola di punti ricavata dalla profondità, codificata attorno all'end effector, in una testa d'azione a diffusione accanto alle feature del VLM, e regge meglio i cambi di altezza, dimensione e punto di vista.

Perché è importante

Per gli ingegneri che adattano i VLA a bracci reali, l'articolo mostra un modo di usare la profondità di una telecamera RGB-D senza riaddestrare il VLM su dati 3D. I guadagni rispetto alle baseline 2D sono maggiori proprio dove queste baseline falliscono nei test reali: altezze del bersaglio, dimensioni degli oggetti e punti di vista della telecamera modificati.

Problema

La maggior parte dei modelli Vision-Language-Action agisce solo a partire da immagini RGB 2D, perdendo così gli indizi di profondità e geometrici necessari per un ragionamento spaziale preciso. I modi precedenti di aggiungere il 3D o inserivano codifiche posizionali 3D nel VLM, il che ne rompe l'allineamento con il codificatore visivo e richiede grandi dataset di instruction tuning in 3D, oppure congelavano l'esperto d'azione e iniettavano in seguito le feature della nuvola di punti, il che limita l'adattamento alla nuova modalità.

Soluzione proposta

GeoVLA mantiene un VLM preaddestrato (Prismatic-7B, inizializzato dai pesi di OpenVLA) per immagine e linguaggio, e in parallelo trasforma la mappa di profondità in una nuvola di punti nel sistema di riferimento dell'end effector, codificata da una Point Embedding Network che usa convoluzioni a kernel grande, codifica posizionale rotativa e il token dell'end effector come ancora. Una testa d'azione diffusion-transformer, il 3D-enhanced Action Expert, fonde i due insiemi di feature attraverso esperti specifici per modalità con routing statico; è addestrata end-to-end mentre a ogni iterazione una modalità viene scartata a caso.

Idee chiave

Codificare la nuvola di punti in un ramo separato, anziché all'interno del VLM, mantiene intatto l'allineamento visione-linguaggio preaddestrato del VLM.
Esprimere la nuvola di punti nel sistema di riferimento dell'end effector e usare il token dell'end effector come ancora ha dato il 97,7 % su LIBERO, contro il 96,3 % con max pooling e il 95,9 % con mean pooling.
Il routing dinamico del MoE sbilanciava la testa d'azione verso il ramo del VLM preaddestrato; il routing statico con dropout casuale delle modalità ha dato il 97,7 %, contro il 97,3 % con routing dinamico e il 96,0 % senza MoE.
La codifica posizionale rotativa (RoPE) nel codificatore di punti ha portato la media su LIBERO dal 95,4 % (embedding 1D apprendibili) al 97,7 %.
Il ramo 3D conta soprattutto per la geometria fuori distribuzione: con la telecamera ruotata di 45°, GeoVLA ha mantenuto il 70 % di successo mentre CogACT è sceso allo 0 %.

Risultati principali

LIBERO: 97,7 % di media su cinque suite, contro il 95,3 % di OpenVLA-OFT e il 93,2 % di CogACT; 96,6 % su LIBERO-Long e 97,7 % su LIBERO-90, usando una sola vista della telecamera principale più la sua nuvola di punti.
ManiSkill2 (cinque compiti di pick-and-place, 20 episodi ciascuno): 77 % di media contro il 69 % di CogACT e il 66 % di Dita; 45 % su PickClutterYCB contro il 36 % di Dita.
Mondo reale, 8 compiti su un braccio WidowX-250s, 10 prove ciascuno: 86,3 % di media contro il 76,3 % di CogACT, il 57,5 % di π0 e il 20,0 % di OpenVLA (95,0 % sui compiti di base, 77,5 % sui compiti che richiedono consapevolezza 3D).
Cestino un livello più in alto che in addestramento: 60 % contro il 20 % sia di π0 sia di CogACT; bambola più grande mai vista: 80 % contro il 50 % di CogACT e lo 0 % di π0.
Punto di vista della telecamera spostato di 15°, 30° e 45°: 90 %, 80 % e 70 %, contro il 60 %, 40 % e 0 % di CogACT.
Ablazione del codificatore di punti su LIBERO: Point Embedding Network 97,7 % contro il 95,8 % di un MLP a 3 strati (stile DP3) e il 95,2 % di PointNet.

Limiti

L'articolo non ha una propria sezione sui limiti; i punti seguenti derivano dai risultati e dalla configurazione riportati.
Senza il tappetino di spugna in Pick Carrot (la carota si trova più in basso), GeoVLA ha raggiunto il 50 % mentre π0 ha raggiunto il 60 %, anche se il testo afferma che GeoVLA ottiene prese più stabili degli altri metodi.
I test nel mondo reale usano un solo braccio (WidowX-250s), una telecamera RealSense in terza persona e 10 prove per configurazione.
I cambi di illuminazione penalizzano ancora: Stack Block è sceso dall'80 % al 50 % con un cambio di luce, e la media dei tre compiti è scesa dal 93,3 % al 73,3 % (Tabella 9 dell'appendice).
Su ManiSkill2 il modello riceve anche lo stato propriocettivo, lo stato della pinza e la posizione del marcatore del bersaglio, e su PickCube (90 %) resta sotto CogACT (95 %).

Impatto sul settore

Finalista dell'IROS 2026 Best Paper Award on Cognitive Robotics, sponsorizzato da KROS, con 84 citazioni. La pagina ufficiale del progetto rimanda a un repository di codice su github.com/linsun449/geovla.code.

Abstract

I modelli Vision-Language-Action (VLA) sono emersi come un approccio promettente per consentire ai robot di seguire istruzioni in linguaggio naturale e prevedere le azioni corrispondenti. Tuttavia, gli attuali modelli VLA si basano principalmente su input visivi 2D, trascurando la ricca informazione geometrica del mondo fisico 3D, il che ne limita la consapevolezza spaziale e l'adattabilità. In questo articolo presentiamo GeoVLA, un nuovo framework VLA che integra efficacemente l'informazione 3D per far progredire la manipolazione robotica. Usa un modello Vision-Language (VLM) per elaborare immagini e istruzioni in linguaggio, estraendo embedding fusi visione-linguaggio. In parallelo, converte le mappe di profondità in nuvole di punti e impiega un codificatore di punti personalizzato, chiamato Point Embedding Network, per generare in modo indipendente embedding geometrici 3D. Questi embedding vengono poi concatenati ed elaborati dal nostro esperto d'azione con consapevolezza spaziale, chiamato 3D-enhanced Action Expert, che combina informazioni provenienti da diverse modalità sensoriali per produrre sequenze di azioni precise. Attraverso estesi esperimenti sia in simulazione sia in ambienti reali, GeoVLA dimostra prestazioni e robustezza superiori. Ottiene risultati allo stato dell'arte nei benchmark di simulazione LIBERO e ManiSkill2 e mostra una notevole robustezza in compiti reali che richiedono adattabilità all'altezza, consapevolezza della scala e invarianza al punto di vista. Il progetto è disponibile su https://linsun449.github.io/GeoVLA.

Link

arXiv 2508.09071: https://arxiv.org/abs/2508.09071
DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
PDF: https://arxiv.org/pdf/2508.09071v1
Codice: https://github.com/linsun449/geovla.code
Pagina del progetto: https://linsun449.github.io/GeoVLA