GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

作者: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

GeoVLA 將由深度圖取得、以末端執行器為中心編碼的點雲，與 VLM 特徵一起送入擴散動作頭，在高度、尺寸與視角改變時表現更穩定。

為何重要

對於要把 VLA 套用到真實機器手臂上的工程師，論文展示了一種不必以 3D 資料重新訓練 VLM，就能使用 RGB-D 相機深度資訊的方法。相對 2D 基準方法的提升，正好在這些基準方法於真實測試中失敗之處最大：目標高度、物體尺寸與相機視角改變時。

問題

大多數視覺-語言-動作模型只根據 2D RGB 影像行動，因此缺少精確空間推理所需的深度與幾何線索。先前加入 3D 的方法，不是把 3D 位置編碼放進 VLM，破壞其與視覺編碼器的對齊，並需要大型的 3D 指令微調資料集；就是凍結動作專家後再注入點雲特徵，限制了對新模態的適應。

提出的方法

GeoVLA 保留一個預訓練的 VLM（Prismatic-7B，以 OpenVLA 權重初始化）處理影像與語言，並同時將深度圖轉換為末端執行器座標系中的點雲，交由 Point Embedding Network 編碼，此網路使用大核卷積、旋轉位置編碼，並以末端執行器 token 作為錨點。一個擴散 Transformer 動作頭，即 3D-enhanced Action Expert，透過採用靜態路由的模態專屬專家融合兩組特徵；它以端到端方式訓練，每次迭代時隨機丟棄一種模態。

關鍵見解

• 在獨立分支中、而非在 VLM 內部編碼點雲，可讓 VLM 預訓練的視覺-語言對齊保持完整。
• 在末端執行器座標系中表示點雲，並以末端執行器 token 作為錨點，在 LIBERO 上得到 97.7%，最大池化為 96.3%，平均池化為 95.9%。
• 動態 MoE 路由讓動作頭偏向預訓練的 VLM 分支；搭配隨機模態丟棄的靜態路由得到 97.7%，動態路由為 97.3%，不使用 MoE 為 96.0%。
• 在點編碼器中使用旋轉位置編碼（RoPE），將 LIBERO 平均成功率從 95.4%（1D 可學習嵌入）提高到 97.7%。
• 3D 分支對分布外的幾何最為重要：相機旋轉 45° 時，GeoVLA 仍維持 70% 成功率，而 CogACT 降到 0%。

主要結果

• LIBERO：五個任務組平均 97.7%，OpenVLA-OFT 為 95.3%，CogACT 為 93.2%；LIBERO-Long 為 96.6%，LIBERO-90 為 97.7%，只使用一個主相機視角及其點雲。
• ManiSkill2（五個取放任務，各 20 個回合）：平均 77%，CogACT 為 69%，Dita 為 66%；PickClutterYCB 為 45%，Dita 為 36%。
• 真實世界，在 WidowX-250s 機器手臂上進行 8 個任務，各 10 次試驗：平均 86.3%，CogACT 為 76.3%，π0 為 57.5%，OpenVLA 為 20.0%（基本任務 95.0%，3D 感知任務 77.5%）。
• 籃子比訓練時高一層：60%，π0 與 CogACT 皆為 20%；未見過的最大尺寸玩偶：80%，CogACT 為 50%，π0 為 0%。
• 相機視角偏移 15°、30° 與 45°：90%、80% 與 70%，CogACT 為 60%、40% 與 0%。
• LIBERO 上的點編碼器消融：Point Embedding Network 為 97.7%，3 層 MLP（DP3 風格）為 95.8%，PointNet 為 95.2%。

限制

• 論文本身沒有限制一節；以下各點取自其報告的結果與實驗設定。
• 在 Pick Carrot 任務中移除海綿墊後（紅蘿蔔位置較低），GeoVLA 達到 50%，π0 則達到 60%，雖然正文稱 GeoVLA 的抓取比其他方法更穩定。
• 真實世界測試只使用一支機器手臂（WidowX-250s）、一台第三人稱視角的 RealSense 相機，每種設定 10 次試驗。
• 光照變化仍有影響：Stack Block 在光照改變時從 80% 降到 50%，三個任務的平均從 93.3% 降到 73.3%（附錄表 9）。
• 在 ManiSkill2 上，模型還會接收本體感知狀態、夾爪狀態與目標標記位置，且在 PickCube 上（90%）仍低於 CogACT（95%）。

對領域的影響

入圍由 KROS 贊助的 IROS 2026 認知機器人最佳論文獎（Best Paper Award on Cognitive Robotics）決選，被引用 84 次。官方專案頁面連結到程式碼儲存庫 github.com/linsun449/geovla.code。

摘要

視覺-語言-動作（VLA）模型已成為讓機器人遵循語言指令並預測對應動作的一種有前景的方法。然而，目前的 VLA 模型主要仰賴 2D 視覺輸入，忽略了 3D 實體世界中豐富的幾何資訊，限制了它們的空間感知與適應能力。本文提出 GeoVLA，一個能有效整合 3D 資訊以推進機器人操作的新型 VLA 框架。它使用視覺語言模型（VLM）處理影像與語言指令，擷取融合的視覺-語言嵌入。同時，它將深度圖轉換為點雲，並使用名為 Point Embedding Network 的客製化點編碼器，獨立產生 3D 幾何嵌入。這些嵌入接著被串接起來，交由我們提出的空間感知動作專家 3D-enhanced Action Expert 處理，它結合來自不同感測器模態的資訊，產生精確的動作序列。透過在模擬與真實世界環境中的大量實驗，GeoVLA 展現出更佳的效能與穩健性。它在 LIBERO 與 ManiSkill2 模擬基準上取得最先進的結果，並在需要高度適應、尺度感知與視角不變性的真實世界任務中展現出色的穩健性。專案網址為 https://linsun449.github.io/GeoVLA。

連結

• arXiv 2508.09071: https://arxiv.org/abs/2508.09071
• DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
• PDF: https://arxiv.org/pdf/2508.09071v1
• 程式碼: https://github.com/linsun449/geovla.code
• 專案頁面: https://linsun449.github.io/GeoVLA