Geometric Action Model for Robot Policy Learning

Autores: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Divide un modelo de geometría 3D preentrenado e inserta un predictor causal para que una sola red troncal prediga la profundidad y las acciones futuras: 1,4B parámetros, 6,9 ms por paso, 83,1 % con desplazamientos de cámara en LIBERO-Plus.

Por qué importa

La política tiene 1,4B parámetros (unos 983M entrenables) y necesita una sola pasada hacia delante por paso, lo que da unos 145 Hz en una sola GPU GH200. Sus mayores ganancias se dan con perturbaciones de cámara, lo que importa cuando la configuración de cámara desplegada difiere de la usada para recoger los datos.

Problema

Los modelos visión-lenguaje-acción y los modelos de mundo-acción de vídeo se basan en conocimientos previos de imagen 2D o latentes derivados de 2D, y dejan implícitas la profundidad, la escala y la oclusión para que las resuelva el decodificador de acciones. Esto limita la generalización cuando cambian el punto de vista de la cámara o el estado inicial del robot. Los VLA previos con conciencia geométrica usan los modelos fundacionales geométricos solo como extractores de características estáticos.

Solución propuesta

GAM divide un modelo fundacional geométrico preentrenado (DA3-Giant) en la capa 12: las capas superficiales codifican RGB multivista, un transformador causal por bloques de 12 capas insertado en la división predice los tokens de geometría latente del paso siguiente y un token de acción a partir de tokens de lenguaje de un T5 congelado, la propiocepción y la acción anterior, y las capas profundas restantes decodifican ambos. Una cabeza ligera regresa un chunk de acciones de 8 pasos y la cabeza DPT original decodifica la profundidad futura; el entrenamiento combina una pérdida de acción ℓ1, una pérdida de características futuras y una pérdida de profundidad futura.

Ideas clave

• La predicción futura puede situarse dentro del propio espacio latente de un modelo geométrico: los tokens de acción y de escena futura comparten una secuencia autorregresiva y una pasada por la red troncal.
• La profundidad de división es decisiva: Ls = 12 da 99,6 % / 70,1 % (LIBERO / LIBERO-Plus Object, sin pérdida de profundidad), Ls = 19 sigue siendo competitivo, y Ls = 0 o 27 y más profundas colapsan hasta casi cero.
• El preentrenamiento es lo que más importa para la robustez: sin él y sin pérdidas futuras, el éxito en LIBERO-Plus Object es del 50,0 % frente al 89,7 % del modelo completo, y las pérdidas de características futuras y de profundidad por sí solas recuperan parte de esa diferencia (73,4 %).
• Un historial de un solo paso (H = 1) fue más robusto tras el post-entrenamiento que 2 o 4 pasos (89,7 % frente a 84,4 % y 85,1 % en LIBERO-Plus Object).
• Pasar el token de acción por los bloques profundos del GFM supera a supervisarlo directamente en la salida del predictor (89,7 % frente a 84,1 % en LIBERO-Plus Object).

Resultados principales

• LIBERO 97,6 % y LIBERO-Plus 85,5 % (una caída de 12,1 puntos), la puntuación más alta en LIBERO-Plus de la comparación; π0.5 obtiene 96,9 % / 84,6 % y Cosmos-Policy 98,5 % / 82,4 %.
• Perturbación de cámara en LIBERO-Plus: 83,1 % frente al 73,4 % del siguiente mejor método (Cosmos-Policy), una ganancia de 9,7 puntos.
• Latencia en una GH200: 6,9 ms por paso con CUDA Graphs y 17,5 ms solo con Torch Compile, frente a 29,2 ms de π0.5 y 382,4 ms de Cosmos-Policy; OpenVLA-OFT figura con 77,8 ms en la tabla del texto principal y 70,1 ms en la tabla del apéndice.
• RoboCasa-Kitchen (24 tareas, 3 vistas): media del 69,4 % frente al 67,1 % de Cosmos Policy.
• Robot real, cuatro tareas con 10 ensayos nominales y 10 con la cámara desplazada cada una: media del 65 % dentro de la distribución frente al 55 % de π0.5 y al 35 % de Spatial Forcing.
• Con la cámara externa desplazada 85 cm y girada 45°, la figura 1 indica un 52,5 % para GAM frente al 30 % y al 22,5 %; las barras por tarea de la figura 4 (80, 60, 20, 40) dan una media del 50 %.

Limitaciones

• Los autores afirman que la capacidad de razonamiento lingüístico y de sentido común está limitada por el codificador de texto congelado; añadir un gran modelo de lenguaje o un módulo de razonamiento externo se deja como siguiente paso.
• La evaluación en el mundo real es pequeña: cuatro tareas, 20 ensayos cada una, entrenadas con 169–284 demostraciones por tarea; Place pot and pan solo alcanza el 30 % dentro de la distribución y el 20 % con la cámara desplazada.
• En el mundo real, los objetivos de profundidad futura son pseudoetiquetas de la propia red troncal, porque no se dispone de profundidad real.
• En LIBERO-Plus, GAM queda por detrás de π0.5 con perturbaciones del estado inicial del robot (70,0 % frente a 76,6 %), del lenguaje (84,8 % frente a 86,5 %) y de la disposición (79,1 % frente a 86,0 %).
• El preentrenamiento usó 64 GPU NVIDIA GH200 durante unas 96 horas.

Impacto en el campo

En Hugging Face daily papers obtuvo 110 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El artículo ofrece una página del proyecto (cvlab-kaist.github.io/Geometric-Action-Model); su texto no indica que se publiquen código ni checkpoints.

Resumen

Las políticas robóticas generalistas deben seguir las instrucciones del usuario mientras razonan sobre cómo interactúan los objetos, las cámaras y las acciones del robot en el mundo físico 3D. Los modelos visión-lenguaje-acción (VLA) recientes y los modelos de mundo-acción de vídeo (WAM) heredan fuertes conocimientos previos semánticos o temporales de modelos fundacionales a gran escala, pero siguen operando principalmente sobre fotogramas de imagen 2D o espacios latentes derivados de 2D, y dejan implícita la geometría 3D que requiere la manipulación rica en contacto. Proponemos el Geometric Action Model (GAM), una política de manipulación condicionada por el lenguaje que reutiliza directamente un modelo fundacional geométrico (GFM) preentrenado como sustrato compartido para la percepción, la predicción temporal y la decodificación de acciones. GAM divide el GFM en una capa intermedia: las capas superficiales actúan como codificador de observaciones, y un predictor futuro causal insertado en la capa de división predice tokens latentes futuros condicionados por el lenguaje, la propiocepción y el historial de acciones. Los tokens futuros predichos se encaminan después a través de los bloques restantes del GFM para la propagación y la decodificación de características, lo que permite que una única red troncal produzca tanto la geometría futura como las acciones. Este diseño dota al GFM de un modelado temporal del mundo condicionado por el lenguaje con una modificación arquitectónica mínima, a la vez que conserva sus ricos conocimientos previos geométricos. En un amplio conjunto de bancos de pruebas de manipulación en simulación y con robots reales, GAM es más preciso, más robusto, más rápido y más ligero que los métodos de referencia actuales a escala de modelo fundacional.

Enlaces

• arXiv 2606.17046: https://arxiv.org/abs/2606.17046
• PDF: https://arxiv.org/pdf/2606.17046v1
• Página del proyecto: https://cvlab-kaist.github.io/Geometric-Action-Model