GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

Autoren: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

GeoVLA speist eine aus der Tiefe gewonnene, um den Endeffektor herum kodierte Punktwolke neben VLM-Merkmalen in einen Diffusions-Aktionskopf ein und hält Änderungen von Höhe, Größe und Blickwinkel besser stand.

Warum es wichtig ist

Für Ingenieure, die VLAs an reale Arme anpassen, zeigt das Paper einen Weg, die Tiefe einer RGB-D-Kamera zu nutzen, ohne das VLM auf 3D-Daten neu zu trainieren. Die Gewinne gegenüber 2D-Baselines sind genau dort am größten, wo diese Baselines in den realen Tests scheitern: bei veränderten Zielhöhen, Objektgrößen und Kamerablickwinkeln.

Problem

Die meisten Vision-Language-Action-Modelle handeln nur auf Basis von 2D-RGB-Bildern und übersehen daher die Tiefen- und Geometriehinweise, die für präzises räumliches Schließen nötig sind. Bisherige Wege, 3D hinzuzufügen, bringen entweder 3D-Positionskodierungen in das VLM ein, was dessen Ausrichtung auf den visuellen Encoder zerstört und große 3D-Instruction-Tuning-Datensätze erfordert, oder frieren den Aktionsexperten ein und speisen Punktwolkenmerkmale nachträglich ein, was die Anpassung an die neue Modalität begrenzt.

Lösungsansatz

GeoVLA behält ein vortrainiertes VLM (Prismatic-7B, initialisiert mit OpenVLA-Gewichten) für Bild und Sprache bei und wandelt parallel dazu die Tiefenkarte in eine Punktwolke im Endeffektor-Koordinatensystem um, die von einem Point Embedding Network kodiert wird, das Faltungen mit großen Kerneln, Rotary Positional Encoding und das Endeffektor-Token als Anker verwendet. Ein Diffusions-Transformer-Aktionskopf, der 3D-enhanced Action Expert, fusioniert beide Merkmalsmengen über modalitätsspezifische Experten mit statischem Routing; er wird End-to-End trainiert, wobei in jeder Iteration zufällig eine Modalität weggelassen wird.

Wichtigste Erkenntnisse

Die Kodierung der Punktwolke in einem separaten Zweig statt innerhalb des VLM lässt die vortrainierte Vision-Language-Ausrichtung des VLM unangetastet.
Die Darstellung der Punktwolke im Endeffektor-Koordinatensystem und die Verwendung des Endeffektor-Tokens als Anker ergaben 97,7 % auf LIBERO, gegenüber 96,3 % für Max-Pooling und 95,9 % für Mean-Pooling.
Dynamisches MoE-Routing verschob den Aktionskopf zugunsten des vortrainierten VLM-Zweigs; statisches Routing mit zufälligem Modalitäts-Dropout ergab 97,7 %, gegenüber 97,3 % für dynamisches Routing und 96,0 % ohne MoE.
Rotary Positional Encoding (RoPE) im Punkt-Encoder hob den LIBERO-Durchschnitt von 95,4 % (lernbare 1D-Embeddings) auf 97,7 %.
Der 3D-Zweig zählt am meisten bei Geometrie außerhalb der Verteilung: Mit um 45° gedrehter Kamera hielt GeoVLA 70 % Erfolg, während CogACT auf 0 % fiel.

Hauptergebnisse

LIBERO: 97,7 % im Durchschnitt über fünf Suites, gegenüber 95,3 % für OpenVLA-OFT und 93,2 % für CogACT; 96,6 % auf LIBERO-Long und 97,7 % auf LIBERO-90, mit nur einer Hauptkameraansicht plus deren Punktwolke.
ManiSkill2 (fünf Pick-and-Place-Aufgaben, je 20 Episoden): 77 % im Durchschnitt gegenüber 69 % für CogACT und 66 % für Dita; 45 % bei PickClutterYCB gegenüber 36 % für Dita.
Reale Welt, 8 Aufgaben auf einem WidowX-250s-Arm, je 10 Versuche: 86,3 % im Durchschnitt gegenüber 76,3 % für CogACT, 57,5 % für π0 und 20,0 % für OpenVLA (95,0 % bei Basisaufgaben, 77,5 % bei 3D-bezogenen Aufgaben).
Korb eine Ebene höher als im Training: 60 % gegenüber 20 % für π0 und CogACT; größte ungesehene Puppengröße: 80 % gegenüber 50 % für CogACT und 0 % für π0.
Kamerablickwinkel um 15°, 30° und 45° verschoben: 90 %, 80 % und 70 %, gegenüber 60 %, 40 % und 0 % für CogACT.
Ablation des Punkt-Encoders auf LIBERO: Point Embedding Network 97,7 % gegenüber 95,8 % für ein 3-schichtiges MLP (im Stil von DP3) und 95,2 % für PointNet.

Einschränkungen

Das Paper hat keinen eigenen Abschnitt zu Limitationen; die folgenden Punkte stammen aus seinen berichteten Ergebnissen und seinem Aufbau.
Mit entfernter Schwammmatte in Pick Carrot (die Karotte liegt tiefer) erreichte GeoVLA 50 %, π0 dagegen 60 %, obwohl der Text sagt, GeoVLA erziele stabilere Griffe als die anderen Methoden.
Die realen Tests verwenden einen Arm (WidowX-250s), eine RealSense-Kamera aus der Third-Person-Perspektive und 10 Versuche pro Einstellung.
Lichtänderungen schaden weiterhin: Stack Block fiel bei einer Lichtänderung von 80 % auf 50 %, und der Durchschnitt über drei Aufgaben fiel von 93,3 % auf 73,3 % (Anhang, Table 9).
Auf ManiSkill2 erhält das Modell zusätzlich den propriozeptiven Zustand, den Greiferzustand und die Position der Zielmarkierung, und bei PickCube (90 %) bleibt es unter CogACT (95 %).

Wirkung auf das Fachgebiet

Finalist für den IROS 2026 Best Paper Award on Cognitive Robotics, gesponsert von KROS, mit 84 Zitationen. Die offizielle Projektseite verlinkt ein Code-Repository unter github.com/linsun449/geovla.code.

Zusammenfassung

Vision-Language-Action-Modelle (VLA) haben sich als vielversprechender Ansatz erwiesen, um Robotern zu ermöglichen, Sprachanweisungen zu folgen und entsprechende Aktionen vorherzusagen. Aktuelle VLA-Modelle stützen sich jedoch hauptsächlich auf 2D-Bildeingaben und vernachlässigen die reichhaltige geometrische Information der physischen 3D-Welt, was ihr räumliches Bewusstsein und ihre Anpassungsfähigkeit einschränkt. In diesem Paper stellen wir GeoVLA vor, ein neuartiges VLA-Framework, das 3D-Information effektiv integriert, um die robotische Manipulation voranzubringen. Es verwendet ein Vision-Language-Modell (VLM), um Bilder und Sprachanweisungen zu verarbeiten und fusionierte Vision-Language-Embeddings zu extrahieren. Parallel dazu wandelt es Tiefenkarten in Punktwolken um und setzt einen angepassten Punkt-Encoder namens Point Embedding Network ein, um unabhängig davon geometrische 3D-Embeddings zu erzeugen. Diese erzeugten Embeddings werden anschließend verkettet und von unserem vorgeschlagenen räumlich bewussten Aktionsexperten namens 3D-enhanced Action Expert verarbeitet, der Informationen aus verschiedenen Sensormodalitäten kombiniert, um präzise Aktionssequenzen zu erzeugen. In umfangreichen Experimenten sowohl in der Simulation als auch in realen Umgebungen zeigt GeoVLA überlegene Leistung und Robustheit. Es erzielt Ergebnisse auf dem Stand der Technik in den Simulationsbenchmarks LIBERO und ManiSkill2 und zeigt bemerkenswerte Robustheit bei realen Aufgaben, die Anpassung an die Höhe, Größenbewusstsein und Blickwinkelinvarianz erfordern. Das Projekt ist unter https://linsun449.github.io/GeoVLA verfügbar.

Open Source Robotics