GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

著者: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

GeoVLA は、深度から得てエンドエフェクターを中心に符号化した点群を、VLM の特徴と並べて拡散行動ヘッドに入力し、高さ、大きさ、視点の変化に対してより頑健である。

重要な理由

VLA を実際のアームに適用するエンジニアに向けて、この論文は 3D データで VLM を再学習せずに RGB-D カメラの深度を使う方法を示している。2D のベースラインに対する向上は、まさにそれらのベースラインが実機テストで失敗する箇所、すなわち目標の高さ、物体の大きさ、カメラの視点が変わった場合に最も大きい。

課題

多くの視覚・言語・行動モデルは 2D の RGB 画像のみから行動するため、正確な空間推論に必要な深度と幾何の手がかりを見逃している。3D を加える以前の方法は、3D の位置エンコーディングを VLM に入れるもので、視覚エンコーダとの整合が崩れ、大規模な 3D 指示チューニング用データセットが必要になるか、行動エキスパートを凍結した後に点群特徴を注入するもので、新しいモダリティへの適応が制限される。

提案手法

GeoVLA は、画像と言語のために事前学習済みの VLM（Prismatic-7B、OpenVLA の重みで初期化）を保持し、並行して深度マップをエンドエフェクター座標系の点群に変換して、Point Embedding Network で符号化する。このネットワークは大きなカーネルの畳み込み、回転位置エンコーディング、アンカーとしてのエンドエフェクターのトークンを用いる。Diffusion Transformer の行動ヘッドである 3D-enhanced Action Expert は、静的ルーティングを用いるモダリティ固有のエキスパートによって 2 つの特徴集合を融合する。各イテレーションでモダリティの 1 つをランダムに落としながら、エンドツーエンドで学習される。

主な知見

点群を VLM の内部ではなく別のブランチで符号化することで、VLM の事前学習済みの視覚・言語の整合が損なわれずに保たれる。
点群をエンドエフェクター座標系で表し、エンドエフェクターのトークンをアンカーとして用いると LIBERO で 97.7% となり、最大プーリングでは 96.3%、平均プーリングでは 95.9% だった。
動的な MoE ルーティングは行動ヘッドを事前学習済みの VLM ブランチ側へ偏らせた。ランダムなモダリティドロップアウトを伴う静的ルーティングでは 97.7%、動的ルーティングでは 97.3%、MoE なしでは 96.0% だった。
点エンコーダに回転位置エンコーディング（RoPE）を用いると、LIBERO の平均が 95.4%（1D の学習可能な埋め込み）から 97.7% に向上した。
3D ブランチは分布外の幾何に対して最も重要である：カメラを 45° 回転させると、GeoVLA は 70% の成功率を維持したが、CogACT は 0% に落ちた。

主な結果

LIBERO：5 つのスイートの平均で 97.7%、OpenVLA-OFT は 95.3%、CogACT は 93.2%。LIBERO-Long で 96.6%、LIBERO-90 で 97.7%。使用したのはメインカメラの 1 視点とその点群のみである。
ManiSkill2（5 つのピックアンドプレースタスク、各 20 エピソード）：平均 77%、CogACT は 69%、Dita は 66%。PickClutterYCB で 45%、Dita は 36%。
実世界、WidowX-250s アームでの 8 タスク、各 10 試行：平均 86.3%、CogACT は 76.3%、π0 は 57.5%、OpenVLA は 20.0%（基本タスクで 95.0%、3D 認識タスクで 77.5%）。
学習時より 1 段高いかご：60%、π0 と CogACT はともに 20%。未知の最大サイズの人形：80%、CogACT は 50%、π0 は 0%。
カメラ視点を 15°、30°、45° ずらした場合：90%、80%、70%、CogACT は 60%、40%、0%。
LIBERO での点エンコーダのアブレーション：Point Embedding Network は 97.7%、3 層の MLP（DP3 型）は 95.8%、PointNet は 95.2%。

制限事項

論文自体には限界の節がなく、以下の点は報告された結果と設定から取ったものである。
Pick Carrot でスポンジマットを取り除いた場合（ニンジンの位置が低くなる）、GeoVLA は 50%、π0 は 60% だったが、本文では GeoVLA が他の手法よりも安定した把持を実現するとしている。
実世界のテストでは、1 台のアーム（WidowX-250s）、1 台の三人称視点の RealSense カメラ、設定ごとに 10 試行を用いている。
照明の変化は依然として影響する：Stack Block は照明の変化で 80% から 50% に下がり、3 タスクの平均は 93.3% から 73.3% に下がった（付録の表 9）。
ManiSkill2 では、モデルは固有受容感覚の状態、グリッパーの状態、目標マーカーの位置も受け取っており、PickCube（90%）では CogACT（95%）を下回る。

分野への影響

KROS がスポンサーを務める IROS 2026 Best Paper Award on Cognitive Robotics のファイナリスト、被引用数 84。公式プロジェクトページから github.com/linsun449/geovla.code のコードリポジトリにリンクしている。

概要

Vision-Language-Action（VLA）モデルは、ロボットが言語指示に従い、それに対応する行動を予測できるようにする有望なアプローチとして登場した。しかし、現在の VLA モデルは主に 2D の視覚入力に依存しており、3D の物理世界にある豊富な幾何情報を無視しているため、空間認識と適応性が制限されている。本論文では、3D 情報を効果的に統合してロボットマニピュレーションを前進させる新しい VLA フレームワーク GeoVLA を提示する。これはビジョン言語モデル（VLM）を用いて画像と言語指示を処理し、融合された視覚・言語の埋め込みを抽出する。並行して、深度マップを点群に変換し、Point Embedding Network と呼ぶカスタマイズした点エンコーダを用いて、3D の幾何的な埋め込みを独立に生成する。生成されたこれらの埋め込みは連結され、我々が提案する空間認識型の行動エキスパートである 3D-enhanced Action Expert によって処理される。これは異なるセンサモダリティからの情報を組み合わせて、正確な行動系列を生成する。シミュレーションと実世界の両方の環境での広範な実験を通じて、GeoVLA は優れた性能とロバスト性を示す。LIBERO と ManiSkill2 のシミュレーションベンチマークで最先端の結果を達成し、高さへの適応、スケールの認識、視点不変性を必要とする実世界のタスクで顕著なロバスト性を示す。プロジェクトは https://linsun449.github.io/GeoVLA で公開されている。

リンク

arXiv 2508.09071: https://arxiv.org/abs/2508.09071
DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
PDF: https://arxiv.org/pdf/2508.09071v1
コード: https://github.com/linsun449/geovla.code
プロジェクトページ: https://linsun449.github.io/GeoVLA