Geometric Action Model for Robot Policy Learning

Autori: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Divide un modello geometrico 3D preaddestrato e inserisce un predittore causale così che un solo backbone preveda profondità e azioni future: 1,4B parametri, 6,9 ms per passo, 83,1% con spostamenti della telecamera in LIBERO-Plus.

Perché è importante

La policy ha 1,4B parametri (circa 983M addestrabili) e richiede un solo passaggio feed-forward per passo, il che dà circa 145 Hz su una singola GPU GH200. I guadagni maggiori si hanno con perturbazioni della telecamera, il che conta quando la configurazione della telecamera in uso differisce da quella usata per la raccolta dei dati.

Problema

I modelli vision-language-action e i modelli video world-action si basano su prior di immagini 2D o latenti derivati dal 2D, lasciando profondità, scala e occlusione implicite e da ricavare per il decoder delle azioni. Ciò limita la generalizzazione quando cambiano il punto di vista della telecamera o lo stato iniziale del robot. I VLA precedenti consapevoli della geometria usano i geometric foundation model solo come estrattori di caratteristiche statici.

Soluzione proposta

GAM divide un geometric foundation model preaddestrato (DA3-Giant) allo strato 12: gli strati superficiali codificano RGB multivista, un Transformer causale a blocchi di 12 strati inserito alla divisione prevede i token di geometria latente del passo successivo e un token d'azione a partire da token linguistici di un T5 congelato, dalla propriocezione e dall'azione precedente, e gli strati profondi restanti li decodificano entrambi. Una testa leggera regredisce un action chunk di 8 passi e la testa DPT originale decodifica la profondità futura; l'addestramento combina una perdita d'azione ℓ1, una perdita sulle caratteristiche future e una perdita sulla profondità futura.

Idee chiave

• La predizione futura può stare all'interno dello spazio latente stesso di un modello geometrico: i token d'azione e di scena futura condividono un'unica sequenza autoregressiva e un unico passaggio nel backbone.
• La profondità di divisione è decisiva: Ls = 12 dà 99,6% / 70,1% (LIBERO / LIBERO-Plus Object, senza perdita di profondità), Ls = 19 resta competitivo, e Ls = 0 o 27 e più in profondità collassano a quasi zero.
• Il preaddestramento è ciò che conta di più per la robustezza: senza di esso e senza perdite future il successo su LIBERO-Plus Object è del 50,0% contro l'89,7% del modello completo, e le sole perdite di caratteristiche future e di profondità recuperano parte di quel divario (73,4%).
• Uno storico di un solo passo (H = 1) è risultato più robusto dopo il post-training rispetto a 2 o 4 passi (89,7% contro 84,4% e 85,1% su LIBERO-Plus Object).
• Far passare il token d'azione attraverso i blocchi profondi del GFM batte la supervisione diretta all'uscita del predittore (89,7% contro 84,1% su LIBERO-Plus Object).

Risultati principali

• LIBERO 97,6% e LIBERO-Plus 85,5% (un calo di 12,1 punti), il punteggio LIBERO-Plus più alto del confronto; π0.5 ottiene 96,9% / 84,6% e Cosmos-Policy 98,5% / 82,4%.
• Perturbazione della telecamera su LIBERO-Plus: 83,1% contro il 73,4% del metodo successivo migliore (Cosmos-Policy), un guadagno di 9,7 punti.
• Latenza su una GH200: 6,9 ms per passo con CUDA Graphs e 17,5 ms con il solo Torch Compile, contro 29,2 ms per π0.5 e 382,4 ms per Cosmos-Policy; OpenVLA-OFT è riportato a 77,8 ms nella tabella del testo principale e a 70,1 ms nella tabella dell'appendice.
• RoboCasa-Kitchen (24 compiti, 3 viste): media del 69,4% contro il 67,1% di Cosmos Policy.
• Robot reale, quattro compiti con 10 prove nominali e 10 con telecamera spostata ciascuno: media del 65% in distribuzione contro il 55% di π0.5 e il 35% di Spatial Forcing.
• Con la telecamera esterna spostata di 85 cm e ruotata di 45°, la Figura 1 riporta il 52,5% per GAM contro il 30% e il 22,5%; le barre per compito della Figura 4 (80, 60, 20, 40) danno una media del 50%.

Limiti

• Gli autori affermano che il ragionamento linguistico e la capacità di senso comune sono limitati dall'encoder di testo congelato; l'aggiunta di un modello linguistico di grandi dimensioni o di un modulo di ragionamento esterno è lasciata come passo successivo.
• La valutazione nel mondo reale è ridotta: quattro compiti, 20 prove ciascuno, addestrati con 169–284 dimostrazioni per compito; Place pot and pan raggiunge solo il 30% in distribuzione e il 20% con la telecamera spostata.
• Nel mondo reale gli obiettivi di profondità futura sono pseudo-etichette prodotte dal backbone stesso, perché la profondità reale non è disponibile.
• Su LIBERO-Plus, GAM resta dietro a π0.5 con perturbazioni dello stato iniziale del robot (70,0% contro 76,6%), del linguaggio (84,8% contro 86,5%) e della disposizione (79,1% contro 86,0%).
• Il preaddestramento ha usato 64 GPU NVIDIA GH200 per circa 96 ore.

Impatto sul settore

Su Hugging Face daily papers ha ricevuto 110 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. L'articolo indica una pagina del progetto (cvlab-kaist.github.io/Geometric-Action-Model); il suo testo non dichiara un rilascio di codice o checkpoint.

Abstract

Le policy robotiche generaliste devono seguire le istruzioni dell'utente ragionando su come oggetti, telecamere e azioni del robot interagiscono nel mondo fisico 3D. I recenti modelli vision-language-action (VLA) e i modelli video world-action (WAM) ereditano forti prior semantici o temporali da foundation model su larga scala, ma operano ancora principalmente su fotogrammi 2D o su spazi latenti derivati dal 2D, lasciando implicita la geometria 3D richiesta dalla manipolazione ricca di contatti. Proponiamo il Geometric Action Model (GAM), una policy di manipolazione condizionata dal linguaggio che riutilizza direttamente un geometric foundation model (GFM) preaddestrato come substrato condiviso per percezione, predizione temporale e decodifica delle azioni. GAM divide il GFM a uno strato intermedio: gli strati superficiali fungono da encoder delle osservazioni, e un predittore futuro causale inserito allo strato di divisione prevede i token latenti futuri condizionati da linguaggio, propriocezione e storico delle azioni. I token futuri predetti vengono poi instradati attraverso i blocchi restanti del GFM per la propagazione e la decodifica delle caratteristiche, consentendo a un unico backbone di produrre sia la geometria futura sia le azioni. Questo design dota il GFM di una modellazione temporale del mondo condizionata dal linguaggio con una modifica architetturale minima, preservandone i ricchi prior geometrici. Su un'ampia serie di benchmark di manipolazione in simulazione e con robot reali, GAM è più accurato, più robusto, più veloce e più leggero degli attuali metodi di riferimento su scala di foundation model.

Link

• arXiv 2606.17046: https://arxiv.org/abs/2606.17046
• PDF: https://arxiv.org/pdf/2606.17046v1
• Pagina del progetto: https://cvlab-kaist.github.io/Geometric-Action-Model