Geometric Action Model for Robot Policy Learning

Auteurs: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Scinde un modèle de géométrie 3D pré-entraîné et y insère un prédicteur causal afin qu'un seul backbone prévoie la profondeur et les actions futures : 1,4B paramètres, 6,9 ms par pas, 83,1 % sous les décalages de caméra de LIBERO-Plus.

Pourquoi c'est important

La politique compte 1,4B paramètres (environ 983M entraînables) et ne nécessite qu'une passe avant par pas, soit environ 145 Hz sur un seul GPU GH200. Ses gains les plus importants apparaissent sous perturbation de la caméra, ce qui compte lorsque la configuration de caméra déployée diffère de celle utilisée pour la collecte des données.

Problème

Les modèles vision-langage-action et les modèles monde-action vidéo reposent sur des a priori d'images 2D ou des a priori latents dérivés de la 2D, laissant implicites la profondeur, l'échelle et l'occultation, que le décodeur d'actions doit reconstituer. Cela limite la généralisation lorsque le point de vue de la caméra ou l'état initial du robot change. Les VLA antérieurs conscients de la géométrie n'utilisent les modèles fondamentaux géométriques que comme extracteurs de caractéristiques statiques.

Solution proposée

GAM scinde un modèle fondamental géométrique pré-entraîné (DA3-Giant) à la couche 12 : les couches peu profondes encodent le RGB multivue, un Transformer causal par blocs de 12 couches inséré à la scission prédit les tokens de géométrie latente du pas suivant et un token d'action à partir de tokens de langage d'un T5 figé, de la proprioception et de l'action précédente, et les couches profondes restantes décodent les deux. Une tête légère régresse un chunk d'actions de 8 pas et la tête DPT d'origine décode la profondeur future ; l'entraînement combine une perte d'action ℓ1, une perte de caractéristiques futures et une perte de profondeur future.

Idées clés

• La prédiction du futur peut se loger dans l'espace latent propre d'un modèle géométrique : tokens d'action et tokens de scène future partagent une même séquence autorégressive et une même passe du backbone.
• La profondeur de scission est décisive : Ls = 12 donne 99,6 % / 70,1 % (LIBERO / LIBERO-Plus Object, sans perte de profondeur), Ls = 19 reste compétitif, et Ls = 0 ou 27 et au-delà s'effondrent presque à zéro.
• Le pré-entraînement compte le plus pour la robustesse : sans lui et sans pertes de futur, la réussite sur LIBERO-Plus Object est de 50,0 % contre 89,7 % pour le modèle complet, et les seules pertes de caractéristiques futures et de profondeur comblent une partie de cet écart (73,4 %).
• Un historique d'un seul pas (H = 1) s'est montré plus robuste après post-entraînement que 2 ou 4 pas (89,7 % contre 84,4 % et 85,1 % sur LIBERO-Plus Object).
• Faire passer le token d'action par les blocs profonds du GFM fait mieux que de le superviser directement à la sortie du prédicteur (89,7 % contre 84,1 % sur LIBERO-Plus Object).

Principaux résultats

• LIBERO 97,6 % et LIBERO-Plus 85,5 % (une baisse de 12,1 points), le meilleur score LIBERO-Plus de la comparaison ; π0.5 obtient 96,9 % / 84,6 % et Cosmos-Policy 98,5 % / 82,4 %.
• Perturbation de caméra sur LIBERO-Plus : 83,1 % contre 73,4 % pour la meilleure méthode suivante (Cosmos-Policy), un gain de 9,7 points.
• Latence sur un GH200 : 6,9 ms par pas avec CUDA Graphs et 17,5 ms avec Torch Compile seul, contre 29,2 ms pour π0.5 et 382,4 ms pour Cosmos-Policy ; OpenVLA-OFT figure à 77,8 ms dans le tableau du texte principal et à 70,1 ms dans celui de l'annexe.
• RoboCasa-Kitchen (24 tâches, 3 vues) : 69,4 % en moyenne contre 67,1 % pour Cosmos Policy.
• Robot réel, quatre tâches avec 10 essais nominaux et 10 essais à caméra décalée chacune : 65 % de moyenne en distribution contre 55 % pour π0.5 et 35 % pour Spatial Forcing.
• Avec la caméra externe déplacée de 85 cm et tournée de 45°, la Figure 1 rapporte 52,5 % pour GAM contre 30 % et 22,5 % ; les barres par tâche de la Figure 4 (80, 60, 20, 40) donnent une moyenne de 50 %.

Limites

• Les auteurs indiquent que le raisonnement linguistique et les capacités de sens commun sont bornés par l'encodeur de texte figé ; l'ajout d'un grand modèle de langage ou d'un module de raisonnement externe est laissé comme prochaine étape.
• L'évaluation en conditions réelles est restreinte : quatre tâches, 20 essais chacune, entraînées à partir de 169–284 démonstrations par tâche ; Place pot and pan n'atteint que 30 % en distribution et 20 % sous décalage de caméra.
• En conditions réelles, les cibles de profondeur future sont des pseudo-étiquettes produites par le backbone lui-même, faute de profondeur de vérité terrain.
• Sur LIBERO-Plus, GAM reste derrière π0.5 sous les perturbations de l'état initial du robot (70,0 % contre 76,6 %), du langage (84,8 % contre 86,5 %) et de la disposition (79,1 % contre 86,0 %).
• Le pré-entraînement a utilisé 64 GPU NVIDIA GH200 pendant environ 96 heures.

Impact sur le domaine

Sur Hugging Face Daily Papers, il a recueilli 110 votes positifs, se classant dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article indique une page de projet (cvlab-kaist.github.io/Geometric-Action-Model) ; son texte ne mentionne pas de publication du code ou des points de contrôle.

Résumé

Les politiques robotiques généralistes doivent suivre les instructions de l'utilisateur tout en raisonnant sur la manière dont objets, caméras et actions du robot interagissent dans le monde physique en 3D. Les modèles vision-langage-action (VLA) récents et les modèles monde-action vidéo (WAM) héritent de solides a priori sémantiques ou temporels issus de modèles fondamentaux à grande échelle, mais ils opèrent encore principalement sur des images 2D ou des espaces latents dérivés de la 2D, laissant implicite la géométrie 3D requise pour la manipulation riche en contacts. Nous proposons le Geometric Action Model (GAM), une politique de manipulation conditionnée par le langage qui réaffecte directement un modèle fondamental géométrique (GFM) pré-entraîné comme substrat partagé pour la perception, la prédiction temporelle et le décodage des actions. GAM scinde le GFM à une couche intermédiaire : les couches peu profondes servent d'encodeur d'observation, et un prédicteur causal du futur inséré à la couche de scission prévoit des tokens latents futurs conditionnés par le langage, la proprioception et l'historique des actions. Les tokens futurs prédits passent ensuite par les blocs restants du GFM pour la propagation des caractéristiques et le décodage, ce qui permet à un seul backbone de produire à la fois la géométrie future et les actions. Cette conception dote le GFM d'une modélisation temporelle du monde conditionnée par le langage, avec une modification minimale de l'architecture, tout en préservant ses riches a priori géométriques. Sur un large ensemble de benchmarks de manipulation en simulation et sur robot réel, GAM est plus précis, plus robuste, plus rapide et plus léger que les références actuelles à l'échelle des modèles fondamentaux.

Liens

• arXiv 2606.17046: https://arxiv.org/abs/2606.17046
• PDF: https://arxiv.org/pdf/2606.17046v1
• Page du projet: https://cvlab-kaist.github.io/Geometric-Action-Model