Geometric Action Model for Robot Policy Learning

作者: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

拆分一个预训练的 3D 几何模型并插入因果预测器，使一个主干同时预测未来深度和动作：1.4B 参数，每步 6.9 ms，在 LIBERO-Plus 相机偏移下达到 83.1%。

为何重要

该策略有 1.4B 参数（约 983M 可训练），每步只需一次前向传播，在单块 GH200 GPU 上约为 145 Hz。其最大的提升出现在相机扰动下，当部署时的相机设置与数据采集时所用的不同，这一点就很重要。

问题

视觉-语言-动作模型和视频世界-动作模型建立在 2D 图像或源自 2D 的潜在先验之上，深度、尺度和遮挡都是隐式的，需要由动作解码器自行推断。这在相机视点或机器人初始状态发生变化时限制了泛化能力。以往具有几何感知的 VLA 只把几何基础模型用作静态特征提取器。

提出的方法

GAM 在第 12 层拆分一个预训练的几何基础模型（DA3-Giant）：浅层对多视角 RGB 进行编码；插入在拆分处的一个 12 层块因果 Transformer 根据冻结的 T5 语言 token、本体感觉和上一个动作，预测下一步的潜在几何 token 和一个动作 token；其余深层对两者进行解码。一个轻量级头部回归一个 8 步的动作块，原有的 DPT 头部解码未来深度；训练结合了 ℓ1 动作损失、未来特征损失和未来深度损失。

关键见解

未来预测可以置于几何模型自身的潜在空间之内：动作 token 和未来场景 token 共用一个自回归序列和一次主干前向传播。
拆分深度起决定性作用：Ls = 12 得到 99.6% / 70.1%（LIBERO / LIBERO-Plus Object，无深度损失），Ls = 19 仍具竞争力，而 Ls = 0 或 27 及更深时会崩溃到接近零。
预训练对鲁棒性最为重要：没有预训练且没有未来损失时，LIBERO-Plus Object 成功率为 50.0%，而完整模型为 89.7%；仅靠未来特征损失和深度损失就能弥补部分差距（73.4%）。
后训练之后，单步历史（H = 1）比 2 步或 4 步更鲁棒（在 LIBERO-Plus Object 上为 89.7%，对比 84.4% 和 85.1%）。
让动作 token 经过 GFM 的深层模块，优于直接在预测器输出处对其进行监督（在 LIBERO-Plus Object 上为 89.7%，对比 84.1%）。

主要结果

LIBERO 97.6%，LIBERO-Plus 85.5%（下降 12.1 个百分点），是比较中最高的 LIBERO-Plus 分数；π0.5 得分 96.9% / 84.6%，Cosmos-Policy 为 98.5% / 82.4%。
LIBERO-Plus 相机扰动：83.1%，而次优方法（Cosmos-Policy）为 73.4%，提升 9.7 个百分点。
在单块 GH200 上的延迟：使用 CUDA Graphs 时每步 6.9 ms，仅用 Torch Compile 时为 17.5 ms，而 π0.5 为 29.2 ms，Cosmos-Policy 为 382.4 ms；OpenVLA-OFT 在正文表格中列为 77.8 ms，在附录表格中列为 70.1 ms。
RoboCasa-Kitchen（24 个任务，3 个视角）：平均 69.4%，而 Cosmos Policy 为 67.1%。
真实机器人，四个任务，每个任务 10 次常规试验和 10 次相机偏移试验：分布内平均 65%，而 π0.5 为 55%，Spatial Forcing 为 35%。
在外部相机移动 85 cm 并旋转 45° 的情况下，图 1 报告 GAM 为 52.5%，对比 30% 和 22.5%；图 4 中各任务的柱状值（80、60、20、40）平均为 50%。

局限

作者表示，语言推理和常识能力受限于冻结的文本编码器；加入大语言模型或外部推理模块被留作下一步工作。
真实世界评估规模较小：四个任务，每个任务 20 次试验，每个任务用 169–284 条演示训练；Place pot and pan 任务在分布内仅达到 30%，在相机偏移下仅为 20%。
在真实世界中，由于无法获得真值深度，未来深度目标是由主干自身生成的伪标签。
在 LIBERO-Plus 上，GAM 在机器人初始状态（70.0% vs 76.6%）、语言（84.8% vs 86.5%）和布局（79.1% vs 86.0%）扰动下落后于 π0.5。
预训练使用了 64 块 NVIDIA GH200 GPU，耗时约 96 小时。

对领域的影响

在 Hugging Face 每日论文上获得 110 个赞，位列该平台过去六个月机器人论文的前 5%。论文给出了项目页面（cvlab-kaist.github.io/Geometric-Action-Model）；正文未说明是否发布代码或检查点。

摘要

通用机器人策略必须在遵循用户指令的同时，推理物体、相机和机器人动作在 3D 物理世界中如何相互作用。近期的视觉-语言-动作模型（VLA）和视频世界-动作模型（WAM）从大规模基础模型中继承了强大的语义或时间先验，但它们仍主要在 2D 图像帧或源自 2D 的潜在空间上运作，而接触丰富的操作所需的 3D 几何信息仍是隐式的。我们提出几何动作模型（Geometric Action Model，GAM），这是一种以语言为条件的操作策略，它直接将预训练的几何基础模型（GFM）改用为感知、时间预测和动作解码的共享基底。GAM 在一个中间层处拆分 GFM：浅层作为观测编码器，而插入在拆分层的因果未来预测器以语言、本体感觉和动作历史为条件预测未来的潜在 token。预测出的未来 token 随后被送入 GFM 的其余模块进行特征传播和解码，使单一主干即可同时生成未来几何和动作。这一设计只需极少的架构修改，就为 GFM 赋予了以语言为条件的时间世界建模能力，同时保留了其丰富的几何先验。在一系列广泛的仿真和真实机器人操作基准上，GAM 比当前基础模型规模的基线更准确、更鲁棒、更快且更轻量。

链接

arXiv 2606.17046: https://arxiv.org/abs/2606.17046
PDF: https://arxiv.org/pdf/2606.17046v1
项目主页: https://cvlab-kaist.github.io/Geometric-Action-Model