Geometric Action Model for Robot Policy Learning

Autoren: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Teilt ein vortrainiertes 3D-Geometriemodell und fügt einen kausalen Prädiktor ein, sodass ein Backbone künftige Tiefe und Aktionen vorhersagt: 1,4B Parameter, 6,9 ms pro Schritt, 83,1 % bei Kameraverschiebungen in LIBERO-Plus.

Warum es wichtig ist

Die Policy hat 1,4B Parameter (etwa 983M trainierbar) und braucht pro Schritt einen einzigen Feedforward-Durchlauf, was auf einer einzelnen GH200-GPU etwa 145 Hz ergibt. Die größten Gewinne zeigen sich unter Kamerastörungen, was zählt, wenn sich ein eingesetzter Kameraaufbau von dem für die Datenerhebung verwendeten unterscheidet.

Problem

Vision-Language-Action-Modelle und Video-World-Action-Modelle bauen auf Priors aus 2D-Bildern oder aus 2D abgeleiteten latenten Priors auf und lassen Tiefe, Maßstab und Verdeckung implizit, sodass der Aktionsdecoder sie selbst erschließen muss. Das begrenzt die Generalisierung, wenn sich der Kamerablickwinkel oder der Anfangszustand des Roboters ändert. Frühere geometriebewusste VLAs nutzen geometrische Foundation Models nur als statische Merkmalsextraktoren.

Lösungsansatz

GAM teilt ein vortrainiertes geometrisches Foundation Model (DA3-Giant) an Schicht 12: Die flachen Schichten kodieren Multi-View-RGB, ein an der Teilungsstelle eingefügter blockkausaler Transformer mit 12 Schichten sagt aus Sprach-Tokens eines eingefrorenen T5, Propriozeption und der vorherigen Aktion latente Geometrie-Tokens des nächsten Schritts sowie einen Aktions-Token vorher, und die verbleibenden tiefen Schichten dekodieren beides. Ein leichtgewichtiger Kopf regressiert einen Action Chunk von 8 Schritten, und der ursprüngliche DPT-Kopf dekodiert die künftige Tiefe; das Training kombiniert einen ℓ1-Aktionsverlust, einen Verlust für künftige Merkmale und einen Verlust für künftige Tiefe.

Wichtigste Erkenntnisse

Die Zukunftsvorhersage kann im eigenen latenten Raum eines Geometriemodells liegen: Aktions-Tokens und Tokens der künftigen Szene teilen sich eine autoregressive Sequenz und einen Backbone-Durchlauf.
Die Teilungstiefe ist entscheidend: Ls = 12 ergibt 99,6 % / 70,1 % (LIBERO / LIBERO-Plus Object, ohne Tiefenverlust), Ls = 19 bleibt konkurrenzfähig, und Ls = 0 oder 27 und tiefer brechen auf nahe null ein.
Vortraining zählt für die Robustheit am meisten: Ohne Vortraining und ohne Zukunftsverluste liegt der Erfolg auf LIBERO-Plus Object bei 50,0 % gegenüber 89,7 % für das vollständige Modell, und die Verluste für künftige Merkmale und Tiefe allein holen einen Teil dieser Lücke auf (73,4 %).
Ein Verlauf von einem einzigen Schritt (H = 1) war nach dem Post-Training robuster als 2 oder 4 Schritte (89,7 % gegenüber 84,4 % und 85,1 % auf LIBERO-Plus Object).
Den Aktions-Token durch die tiefen GFM-Blöcke zu führen, schlägt die direkte Supervision am Ausgang des Prädiktors (89,7 % gegenüber 84,1 % auf LIBERO-Plus Object).

Hauptergebnisse

LIBERO 97,6 % und LIBERO-Plus 85,5 % (ein Rückgang um 12,1 Punkte), der höchste LIBERO-Plus-Wert im Vergleich; π0.5 erzielt 96,9 % / 84,6 % und Cosmos-Policy 98,5 % / 82,4 %.
Kamerastörung in LIBERO-Plus: 83,1 % gegenüber 73,4 % für die nächstbeste Methode (Cosmos-Policy), ein Gewinn von 9,7 Punkten.
Latenz auf einer GH200: 6,9 ms pro Schritt mit CUDA Graphs und 17,5 ms nur mit Torch Compile, gegenüber 29,2 ms für π0.5 und 382,4 ms für Cosmos-Policy; OpenVLA-OFT wird in der Tabelle des Haupttexts mit 77,8 ms und in der Tabelle des Anhangs mit 70,1 ms geführt.
RoboCasa-Kitchen (24 Aufgaben, 3 Ansichten): 69,4 % im Durchschnitt gegenüber 67,1 % für Cosmos Policy.
Realer Roboter, vier Aufgaben mit je 10 nominalen und 10 Durchgängen mit verschobener Kamera: 65 % In-Distribution-Durchschnitt gegenüber 55 % für π0.5 und 35 % für Spatial Forcing.
Mit der externen Kamera um 85 cm verschoben und um 45° gedreht, berichtet Figure 1 52,5 % für GAM gegenüber 30 % und 22,5 %; die Balken pro Aufgabe in Figure 4 (80, 60, 20, 40) ergeben im Mittel 50 %.

Einschränkungen

Die Autoren geben an, dass Sprachschlussfolgern und Allgemeinwissen durch den eingefrorenen Text-Encoder begrenzt sind; das Hinzufügen eines großen Sprachmodells oder eines externen Reasoning-Moduls bleibt ein nächster Schritt.
Die Evaluation in der realen Welt ist klein: vier Aufgaben mit je 20 Durchgängen, trainiert aus 169–284 Demonstrationen pro Aufgabe; Place pot and pan erreicht In-Distribution nur 30 % und bei verschobener Kamera 20 %.
In der realen Welt sind die Ziele für die künftige Tiefe Pseudo-Labels aus dem Backbone selbst, da keine Ground-Truth-Tiefe verfügbar ist.
Auf LIBERO-Plus liegt GAM bei Störungen des Anfangszustands des Roboters (70,0 % gegenüber 76,6 %), der Sprache (84,8 % gegenüber 86,5 %) und des Layouts (79,1 % gegenüber 86,0 %) hinter π0.5.
Das Vortraining nutzte 64 NVIDIA-GH200-GPUs für etwa 96 Stunden.

Wirkung auf das Fachgebiet

Bei Hugging Face Daily Papers erhielt die Arbeit 110 Upvotes und lag damit unter den obersten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Die Arbeit nennt eine Projektseite (cvlab-kaist.github.io/Geometric-Action-Model); ihr Text gibt keine Veröffentlichung von Code oder Checkpoints an.

Zusammenfassung

Generalistische Roboter-Policies müssen Nutzeranweisungen befolgen und dabei schlussfolgern, wie Objekte, Kameras und Roboteraktionen in der physischen 3D-Welt interagieren. Aktuelle Vision-Language-Action-Modelle (VLAs) und Video-World-Action-Modelle (WAMs) erben starke semantische oder zeitliche Priors von großskaligen Foundation Models, arbeiten aber weiterhin vorwiegend auf 2D-Bildern oder aus 2D abgeleiteten latenten Räumen und lassen die für kontaktreiche Manipulation nötige 3D-Geometrie implizit. Wir schlagen das Geometric Action Model (GAM) vor, eine sprachkonditionierte Manipulations-Policy, die ein vortrainiertes geometrisches Foundation Model (GFM) direkt als gemeinsames Substrat für Wahrnehmung, zeitliche Vorhersage und Aktionsdekodierung umfunktioniert. GAM teilt das GFM an einer mittleren Schicht: Die flachen Schichten dienen als Beobachtungs-Encoder, und ein an der Teilungsschicht eingefügter kausaler Zukunftsprädiktor sagt künftige latente Tokens vorher, konditioniert auf Sprache, Propriozeption und Aktionsverlauf. Die vorhergesagten künftigen Tokens werden dann durch die verbleibenden GFM-Blöcke zur Merkmalsweitergabe und Dekodierung geleitet, sodass ein einziges Backbone sowohl künftige Geometrie als auch Aktionen erzeugen kann. Dieses Design stattet das GFM mit minimaler Änderung der Architektur mit sprachkonditionierter zeitlicher Weltmodellierung aus und bewahrt zugleich seine reichen geometrischen Priors. Über eine breite Suite von Manipulationsbenchmarks in Simulation und auf realen Robotern ist GAM genauer, robuster, schneller und leichter als aktuelle Baselines im Maßstab von Foundation Models.

Open Source Robotics