Geometric Action Model for Robot Policy Learning

作者: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

拆分一個預訓練的 3D 幾何模型並插入因果預測器，讓一個骨幹同時預測未來深度與動作：1.4B 參數、每步 6.9 ms，在 LIBERO-Plus 攝影機偏移下達到 83.1%。

為何重要

此策略有 1.4B 參數（約 983M 可訓練），每步只需一次前饋運算，在單一 GH200 GPU 上約為 145 Hz。其最大的提升出現在攝影機擾動下，當部署時的攝影機配置與資料蒐集時不同，這一點就很重要。

問題

視覺-語言-動作模型與影片世界-動作模型建立在 2D 影像或源自 2D 的潛在先驗上，深度、尺度與遮蔽都是隱含的，留給動作解碼器自行推斷。這在攝影機視角或機器人初始狀態改變時限制了泛化。過去具幾何感知的 VLA 只將幾何基礎模型當作靜態特徵擷取器使用。

提出的方法

GAM 在第 12 層拆分一個預訓練的幾何基礎模型（DA3-Giant）：淺層對多視角 RGB 編碼；插入於拆分處的 12 層區塊因果 Transformer，依據凍結的 T5 語言 token、本體感知與前一個動作，預測下一步的潛在幾何 token 與一個動作 token；其餘的深層則解碼兩者。一個輕量的頭部回歸一個 8 步的動作區塊，原本的 DPT 頭部解碼未來深度；訓練結合 ℓ1 動作損失、未來特徵損失與未來深度損失。

關鍵見解

未來預測可以放在幾何模型自身的潛在空間內：動作 token 與未來場景 token 共用一個自迴歸序列與一次骨幹運算。
拆分深度具決定性：Ls = 12 得到 99.6% / 70.1%（LIBERO / LIBERO-Plus Object，無深度損失），Ls = 19 仍具競爭力，而 Ls = 0 或 27 以及更深時則崩落到接近零。
預訓練對強健性最為重要：沒有預訓練且沒有未來損失時，LIBERO-Plus Object 成功率為 50.0%，完整模型則為 89.7%；單靠未來特徵損失與深度損失就能補回部分差距（73.4%）。
經過後訓練後，單步歷史（H = 1）比 2 步或 4 步更強健（在 LIBERO-Plus Object 上為 89.7%，相較於 84.4% 與 85.1%）。
讓動作 token 通過 GFM 的深層區塊，勝過直接在預測器輸出處監督它（在 LIBERO-Plus Object 上為 89.7%，相較於 84.1%）。

主要結果

LIBERO 97.6%、LIBERO-Plus 85.5%（下降 12.1 個百分點），為比較中最高的 LIBERO-Plus 分數；π0.5 得分 96.9% / 84.6%，Cosmos-Policy 為 98.5% / 82.4%。
LIBERO-Plus 攝影機擾動：83.1%，相較於次佳方法（Cosmos-Policy）的 73.4%，提升 9.7 個百分點。
在單一 GH200 上的延遲：使用 CUDA Graphs 時每步 6.9 ms，只用 Torch Compile 時為 17.5 ms，相較於 π0.5 的 29.2 ms 與 Cosmos-Policy 的 382.4 ms；OpenVLA-OFT 在正文表格中列為 77.8 ms，在附錄表格中則為 70.1 ms。
RoboCasa-Kitchen（24 個任務、3 個視角）：平均 69.4%，相較於 Cosmos Policy 的 67.1%。
真實機器人，四個任務，每個任務 10 次常規試驗與 10 次攝影機偏移試驗：分布內平均 65%，相較於 π0.5 的 55% 與 Spatial Forcing 的 35%。
外部攝影機移動 85 cm 並旋轉 45° 時，圖 1 報告 GAM 為 52.5%，相較於 30% 與 22.5%；圖 4 中各任務的長條值（80、60、20、40）平均為 50%。

限制

作者表示，語言推理與常識能力受限於凍結的文字編碼器；加入大型語言模型或外部推理模組被留作下一步。
真實世界評估規模小：四個任務、每個任務 20 次試驗，每個任務以 169–284 筆示範訓練；Place pot and pan 任務在分布內只達到 30%，在攝影機偏移下只有 20%。
在真實世界中，由於無法取得真值深度，未來深度的目標是由骨幹本身產生的偽標籤。
在 LIBERO-Plus 上，GAM 在機器人初始狀態（70.0% vs 76.6%）、語言（84.8% vs 86.5%）與配置（79.1% vs 86.0%）擾動下落後於 π0.5。
預訓練使用了 64 張 NVIDIA GH200 GPU，歷時約 96 小時。

對領域的影響

在 Hugging Face 每日論文上獲得 110 個讚，名列該平台過去六個月機器人論文的前 5%。論文提供專案頁面（cvlab-kaist.github.io/Geometric-Action-Model）；正文未說明是否釋出程式碼或檢查點。

摘要

通用機器人策略必須在遵循使用者指令的同時，推理物體、攝影機與機器人動作如何在 3D 物理世界中相互作用。近期的視覺-語言-動作模型（VLA）與影片世界-動作模型（WAM）從大規模基礎模型繼承了強大的語意或時間先驗，但它們仍主要在 2D 影像幀或源自 2D 的潛在空間上運作，使接觸豐富的操作所需的 3D 幾何維持隱含。我們提出幾何動作模型（Geometric Action Model，GAM），一種以語言為條件的操作策略，直接將預訓練的幾何基礎模型（GFM）改作為感知、時間預測與動作解碼的共享基底。GAM 在一個中間層拆分 GFM：淺層作為觀測編碼器，而插入於拆分層的因果未來預測器，以語言、本體感知與動作歷史為條件，預測未來的潛在 token。預測出的未來 token 接著被送進 GFM 其餘的區塊進行特徵傳遞與解碼，讓單一骨幹能同時產生未來幾何與動作。此設計只需極少的架構修改，就為 GFM 賦予以語言為條件的時間世界建模能力，同時保留其豐富的幾何先驗。在廣泛的模擬與真實機器人操作基準上，GAM 比目前基礎模型規模的基準更準確、更強健、更快速，也更輕量。

連結

arXiv 2606.17046: https://arxiv.org/abs/2606.17046
PDF: https://arxiv.org/pdf/2606.17046v1
專案頁面: https://cvlab-kaist.github.io/Geometric-Action-Model