GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

作者: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

GeoVLA 将由深度图得到、以末端执行器为中心编码的点云，与 VLM 特征一起输入扩散动作头，在高度、尺寸和视角变化下表现更稳定。

为何重要

对于将 VLA 适配到真实机械臂上的工程师，论文展示了一种无需在 3D 数据上重新训练 VLM 就能利用 RGB-D 相机深度信息的方法。相对 2D 基线的提升，恰恰在这些基线在真实测试中失败的地方最大：目标高度、物体尺寸和相机视角发生变化时。

问题

大多数视觉-语言-动作模型仅依据 2D RGB 图像行动，因此缺少精确空间推理所需的深度和几何线索。早期加入 3D 的方法，要么将 3D 位置编码放入 VLM，这会破坏其与视觉编码器的对齐，并需要大规模的 3D 指令微调数据集；要么冻结动作专家后再注入点云特征，这限制了对新模态的适应。

提出的方法

GeoVLA 保留一个预训练的 VLM（Prismatic-7B，以 OpenVLA 权重初始化）处理图像和语言，同时并行地将深度图转换为末端执行器坐标系下的点云，由 Point Embedding Network 编码，该网络使用大核卷积、旋转位置编码，并以末端执行器 token 作为锚点。一个扩散 Transformer 动作头，即 3D-enhanced Action Expert，通过采用静态路由的模态专属专家融合这两组特征；它以端到端方式训练，每次迭代中随机丢弃一种模态。

关键见解

• 在一个独立的分支中而不是在 VLM 内部编码点云，可以保持 VLM 预训练的视觉-语言对齐不受破坏。
• 在末端执行器坐标系中表达点云，并以末端执行器 token 作为锚点，在 LIBERO 上得到 97.7%，而最大池化为 96.3%，平均池化为 95.9%。
• 动态 MoE 路由使动作头偏向预训练的 VLM 分支；采用随机模态丢弃的静态路由得到 97.7%，动态路由为 97.3%，不使用 MoE 为 96.0%。
• 在点编码器中使用旋转位置编码（RoPE），将 LIBERO 平均成功率从 95.4%（1D 可学习嵌入）提高到 97.7%。
• 3D 分支对分布外的几何最为重要：相机旋转 45° 时，GeoVLA 仍保持 70% 的成功率，而 CogACT 降至 0%。

主要结果

• LIBERO：五个任务套件平均 97.7%，OpenVLA-OFT 为 95.3%，CogACT 为 93.2%；LIBERO-Long 上 96.6%，LIBERO-90 上 97.7%，仅使用一个主相机视角及其点云。
• ManiSkill2（五个拾取放置任务，每个 20 个回合）：平均 77%，CogACT 为 69%，Dita 为 66%；PickClutterYCB 上 45%，Dita 为 36%。
• 真实世界，在 WidowX-250s 机械臂上的 8 个任务，每个 10 次试验：平均 86.3%，CogACT 为 76.3%，π0 为 57.5%，OpenVLA 为 20.0%（基础任务 95.0%，3D 感知任务 77.5%）。
• 篮子比训练时高一层：60%，π0 和 CogACT 均为 20%；未见过的最大尺寸玩偶：80%，CogACT 为 50%，π0 为 0%。
• 相机视角偏移 15°、30° 和 45°：90%、80% 和 70%，CogACT 为 60%、40% 和 0%。
• LIBERO 上的点编码器消融：Point Embedding Network 为 97.7%，3 层 MLP（DP3 风格）为 95.8%，PointNet 为 95.2%。

局限

• 论文本身没有局限性章节；以下几点来自其报告的结果和实验设置。
• 在 Pick Carrot 任务中去掉海绵垫后（胡萝卜位置更低），GeoVLA 达到 50%，而 π0 达到 60%，尽管正文称 GeoVLA 的抓取比其他方法更稳定。
• 真实世界测试只使用了一台机械臂（WidowX-250s）、一台第三人称视角的 RealSense 相机，每种设置 10 次试验。
• 光照变化仍有影响：Stack Block 在光照变化下从 80% 降至 50%，三个任务的平均值从 93.3% 降至 73.3%（附录表 9）。
• 在 ManiSkill2 上，模型还接收本体感觉状态、夹爪状态和目标标记位置，并且在 PickCube 上（90%）仍低于 CogACT（95%）。

对领域的影响

入围由 KROS 赞助的 IROS 2026 认知机器人最佳论文奖（Best Paper Award on Cognitive Robotics）决选，被引用 84 次。官方项目页面链接到代码仓库 github.com/linsun449/geovla.code。

摘要

视觉-语言-动作（VLA）模型已成为一种有前景的方法，使机器人能够遵循语言指令并预测相应的动作。然而，当前的 VLA 模型主要依赖 2D 视觉输入，忽视了 3D 物理世界中丰富的几何信息，这限制了它们的空间感知能力和适应性。本文提出 GeoVLA，一种有效融合 3D 信息以推进机器人操作的新型 VLA 框架。它使用视觉语言模型（VLM）处理图像和语言指令，提取融合的视觉-语言嵌入。与此同时，它将深度图转换为点云，并使用一个名为 Point Embedding Network 的定制点编码器独立生成 3D 几何嵌入。随后，这些嵌入被拼接起来，并由我们提出的空间感知动作专家 3D-enhanced Action Expert 处理，该专家结合来自不同传感器模态的信息，生成精确的动作序列。通过在仿真和真实世界环境中的大量实验，GeoVLA 展现出更优的性能和鲁棒性。它在 LIBERO 和 ManiSkill2 仿真基准上取得了最先进的结果，并在需要高度适应性、尺度感知和视角不变性的真实世界任务中表现出显著的鲁棒性。项目地址为 https://linsun449.github.io/GeoVLA。

链接

• arXiv 2508.09071: https://arxiv.org/abs/2508.09071
• DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
• PDF: https://arxiv.org/pdf/2508.09071v1
• 代码: https://github.com/linsun449/geovla.code
• 项目主页: https://linsun449.github.io/GeoVLA