Geometric Action Model for Robot Policy Learning

Autores: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Divide um modelo de geometria 3D pré-treinado e insere um preditor causal para que um único backbone preveja profundidade e ações futuras: 1,4B parâmetros, 6,9 ms por passo, 83,1% sob deslocamentos de câmera no LIBERO-Plus.

Por que importa

A política tem 1,4B parâmetros (cerca de 983M treináveis) e precisa de uma única passagem direta por passo, o que dá cerca de 145 Hz em uma única GPU GH200. Seus maiores ganhos ocorrem sob perturbação de câmera, o que importa quando a configuração de câmera implantada difere da usada na coleta de dados.

Problema

Modelos visão-linguagem-ação e modelos de mundo-ação de vídeo se apoiam em conhecimentos prévios de imagem 2D ou latentes derivados de 2D, deixando profundidade, escala e oclusão implícitas para o decodificador de ações resolver. Isso limita a generalização quando o ponto de vista da câmera ou o estado inicial do robô muda. VLAs anteriores com consciência geométrica usam modelos fundacionais geométricos apenas como extratores de características estáticos.

Solução proposta

O GAM divide um modelo fundacional geométrico pré-treinado (DA3-Giant) na camada 12: as camadas rasas codificam RGB multivista, um transformador causal por blocos de 12 camadas inserido na divisão prevê os tokens de geometria latente do próximo passo e um token de ação a partir de tokens de linguagem de um T5 congelado, da propriocepção e da ação anterior, e as camadas profundas restantes decodificam ambos. Uma cabeça leve faz a regressão de um chunk de ações de 8 passos e a cabeça DPT original decodifica a profundidade futura; o treinamento combina uma perda de ação ℓ1, uma perda de características futuras e uma perda de profundidade futura.

Principais ideias

A predição futura pode ficar dentro do próprio espaço latente de um modelo geométrico: tokens de ação e de cena futura compartilham uma sequência autorregressiva e uma passagem pelo backbone.
A profundidade de divisão é decisiva: Ls = 12 dá 99,6% / 70,1% (LIBERO / LIBERO-Plus Object, sem perda de profundidade), Ls = 19 continua competitivo, e Ls = 0 ou 27 e mais profundas colapsam para perto de zero.
O pré-treinamento é o que mais importa para a robustez: sem ele e sem perdas futuras, o sucesso no LIBERO-Plus Object é de 50,0% contra 89,7% do modelo completo, e as perdas de características futuras e de profundidade sozinhas recuperam parte dessa diferença (73,4%).
Um histórico de um único passo (H = 1) foi mais robusto após o pós-treinamento do que 2 ou 4 passos (89,7% contra 84,4% e 85,1% no LIBERO-Plus Object).
Passar o token de ação pelos blocos profundos do GFM supera supervisioná-lo diretamente na saída do preditor (89,7% contra 84,1% no LIBERO-Plus Object).

Principais resultados

LIBERO 97,6% e LIBERO-Plus 85,5% (uma queda de 12,1 pontos), a maior pontuação no LIBERO-Plus da comparação; π0.5 obtém 96,9% / 84,6% e Cosmos-Policy 98,5% / 82,4%.
Perturbação de câmera no LIBERO-Plus: 83,1% contra 73,4% do segundo melhor método (Cosmos-Policy), um ganho de 9,7 pontos.
Latência em uma GH200: 6,9 ms por passo com CUDA Graphs e 17,5 ms apenas com Torch Compile, contra 29,2 ms do π0.5 e 382,4 ms do Cosmos-Policy; o OpenVLA-OFT aparece com 77,8 ms na tabela do texto principal e 70,1 ms na tabela do apêndice.
RoboCasa-Kitchen (24 tarefas, 3 vistas): média de 69,4% contra 67,1% do Cosmos Policy.
Robô real, quatro tarefas com 10 tentativas nominais e 10 com a câmera deslocada cada: média de 65% dentro da distribuição contra 55% do π0.5 e 35% do Spatial Forcing.
Com a câmera externa deslocada 85 cm e girada 45°, a Figura 1 relata 52,5% para o GAM contra 30% e 22,5%; as barras por tarefa da Figura 4 (80, 60, 20, 40) dão média de 50%.

Limitações

Os autores afirmam que o raciocínio linguístico e a capacidade de senso comum são limitados pelo codificador de texto congelado; acrescentar um grande modelo de linguagem ou um módulo de raciocínio externo fica como próximo passo.
A avaliação no mundo real é pequena: quatro tarefas, 20 tentativas cada, treinadas com 169–284 demonstrações por tarefa; Place pot and pan atinge apenas 30% dentro da distribuição e 20% com a câmera deslocada.
No mundo real, os alvos de profundidade futura são pseudorrótulos do próprio backbone, porque não há profundidade real disponível.
No LIBERO-Plus, o GAM fica atrás do π0.5 sob perturbações do estado inicial do robô (70,0% vs 76,6%), da linguagem (84,8% vs 86,5%) e do layout (79,1% vs 86,0%).
O pré-treinamento usou 64 GPUs NVIDIA GH200 por cerca de 96 horas.

Impacto na área

No Hugging Face daily papers, recebeu 110 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O artigo indica uma página do projeto (cvlab-kaist.github.io/Geometric-Action-Model); seu texto não informa a publicação de código ou checkpoints.

Resumo

Políticas robóticas generalistas precisam seguir instruções do usuário enquanto raciocinam sobre como objetos, câmeras e ações do robô interagem no mundo físico 3D. Modelos visão-linguagem-ação (VLAs) recentes e modelos de mundo-ação de vídeo (WAMs) herdam fortes conhecimentos prévios semânticos ou temporais de modelos fundacionais de grande escala, mas ainda operam principalmente sobre quadros de imagem 2D ou espaços latentes derivados de 2D, deixando implícita a geometria 3D necessária para a manipulação rica em contato. Propomos o Geometric Action Model (GAM), uma política de manipulação condicionada à linguagem que reaproveita diretamente um modelo fundacional geométrico (GFM) pré-treinado como substrato compartilhado para percepção, predição temporal e decodificação de ações. O GAM divide o GFM em uma camada intermediária: as camadas rasas servem como codificador de observações, e um preditor futuro causal inserido na camada de divisão prevê tokens latentes futuros condicionados à linguagem, à propriocepção e ao histórico de ações. Os tokens futuros previstos são então encaminhados pelos blocos restantes do GFM para propagação e decodificação de características, permitindo que um único backbone produza tanto a geometria futura quanto as ações. Esse projeto dá ao GFM uma modelagem temporal do mundo condicionada à linguagem com modificação arquitetural mínima, preservando seus ricos conhecimentos prévios geométricos. Em um amplo conjunto de benchmarks de manipulação em simulação e com robôs reais, o GAM é mais preciso, mais robusto, mais rápido e mais leve do que as referências atuais na escala de modelos fundacionais.

Open Source Robotics