Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Geometric Action Model for Robot Policy Learning

著者: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

事前学習済みの 3D 幾何モデルを分割して因果的予測器を挿入し、1 つのバックボーンで将来の深度と行動を予測する。パラメータ 1.4B、1 ステップ 6.9 ms、LIBERO-Plus のカメラずれで 83.1%。

重要な理由

この方策のパラメータは 1.4B（うち学習可能なものは約 983M）で、1 ステップに 1 回のフィードフォワードしか必要とせず、GH200 GPU 1 基で約 145 Hz になる。最大の改善はカメラの摂動下で得られており、展開時のカメラ配置がデータ収集時と異なる場合に重要となる。

課題

Vision-Language-Action モデルや動画世界行動モデルは、2D の画像や 2D から導かれた潜在的な事前知識の上に構築されており、深度、スケール、遮蔽は暗黙のまま行動デコーダに推定を任されている。このため、カメラの視点やロボットの初期状態が変わると汎化が制限される。従来の幾何を考慮した VLA は、幾何基盤モデルを静的な特徴抽出器としてしか使っていない。

提案手法

GAM は事前学習済みの幾何基盤モデル（DA3-Giant）を第 12 層で分割する。浅い層は多視点の RGB を符号化し、分割位置に挿入した 12 層のブロック因果トランスフォーマーが、凍結した T5 の言語トークン、固有受容感覚、直前の行動から、次ステップの潜在幾何トークンと行動トークンを予測し、残りの深い層が両方をデコードする。軽量なヘッドが 8 ステップのアクションチャンクを回帰し、元の DPT ヘッドが将来の深度をデコードする。訓練では ℓ1 の行動損失、将来特徴損失、将来深度損失を組み合わせる。

主な知見

  • 将来予測は幾何モデル自身の潜在空間の中に置くことができる。行動トークンと将来シーンのトークンは 1 つの自己回帰系列と 1 回のバックボーン処理を共有する。
  • 分割の深さが決定的である。Ls = 12 で 99.6% / 70.1%（LIBERO / LIBERO-Plus Object、深度損失なし）、Ls = 19 でも競争力を保つが、Ls = 0 や 27 以上ではほぼゼロに崩れる。
  • 事前学習は頑健性にとって最も重要である。事前学習も将来損失もない場合、LIBERO-Plus Object の成功率は 50.0% で、完全なモデルの 89.7% に対し、将来特徴損失と深度損失だけでその差の一部を取り戻せる（73.4%）。
  • 事後訓練後は、1 ステップの履歴（H = 1）が 2 ステップや 4 ステップより頑健だった（LIBERO-Plus Object で 89.7% 対 84.4% と 85.1%）。
  • 行動トークンを GFM の深いブロックに通す方が、予測器の出力で直接教師信号を与えるより良い（LIBERO-Plus Object で 89.7% 対 84.1%）。

主な結果

  • LIBERO 97.6%、LIBERO-Plus 85.5%（12.1 ポイントの低下）で、比較の中で最も高い LIBERO-Plus のスコアである。π0.5 は 96.9% / 84.6%、Cosmos-Policy は 98.5% / 82.4%。
  • LIBERO-Plus のカメラ摂動：83.1% で、次点の手法（Cosmos-Policy）の 73.4% に対し 9.7 ポイントの向上。
  • GH200 1 基でのレイテンシ：CUDA Graphs 使用時で 1 ステップ 6.9 ms、Torch Compile のみで 17.5 ms。π0.5 は 29.2 ms、Cosmos-Policy は 382.4 ms。OpenVLA-OFT は本文の表で 77.8 ms、付録の表で 70.1 ms とされている。
  • RoboCasa-Kitchen（24 タスク、3 視点）：平均 69.4% で、Cosmos Policy は 67.1%。
  • 実機ロボット、4 タスクで各タスク通常 10 回・カメラずれ 10 回の試行：分布内の平均は 65% で、π0.5 は 55%、Spatial Forcing は 35%。
  • 外部カメラを 85 cm 動かして 45° 回転させた場合、図 1 は GAM を 52.5%、比較対象を 30% と 22.5% と報告している。図 4 のタスクごとの棒（80、60、20、40）の平均は 50% である。

制限事項

  • 著者らは、言語による推論と常識的な能力は凍結したテキストエンコーダによって制約されると述べている。大規模言語モデルや外部の推論モジュールの追加は次のステップとされている。
  • 実世界の評価は小規模である。4 タスク、各 20 試行で、タスクごとに 169–284 件のデモンストレーションから訓練している。Place pot and pan は分布内で 30%、カメラずれで 20% にとどまる。
  • 実世界では正解の深度が得られないため、将来深度の目標はバックボーン自身による擬似ラベルである。
  • LIBERO-Plus では、ロボットの初期状態（70.0% vs 76.6%）、言語（84.8% vs 86.5%）、レイアウト（79.1% vs 86.0%）の摂動のもとで GAM は π0.5 に及ばない。
  • 事前学習には NVIDIA GH200 GPU 64 基を約 96 時間使用した。

分野への影響

Hugging Face の daily papers で 110 件の賛成票を集め、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。論文はプロジェクトページ（cvlab-kaist.github.io/Geometric-Action-Model）を示しているが、本文にはコードやチェックポイントの公開についての記載がない。

概要

汎用ロボット方策は、ユーザーの指示に従いつつ、物体、カメラ、ロボットの行動が 3D の物理世界でどう相互作用するかを推論しなければならない。最近の Vision-Language-Action モデル（VLA）や動画世界行動モデル（WAM）は、大規模な基盤モデルから強い意味的または時間的な事前知識を受け継いでいるが、依然として主に 2D の画像フレームや 2D から導かれた潜在空間の上で動作しており、接触の多いマニピュレーションに必要な 3D の幾何は暗黙のままである。我々は、事前学習済みの幾何基盤モデル（GFM）を、知覚、時間的予測、行動デコーディングの共有基盤として直接転用する、言語条件付きのマニピュレーション方策 Geometric Action Model（GAM）を提案する。GAM は GFM を中間層で分割する。浅い層は観測エンコーダとして働き、分割層に挿入した因果的な将来予測器が、言語、固有受容感覚、行動履歴を条件として将来の潜在トークンを予測する。予測された将来トークンは、残りの GFM ブロックに送られて特徴の伝播とデコーディングが行われ、単一のバックボーンで将来の幾何と行動の両方を生成できる。この設計は、最小限のアーキテクチャ変更で GFM に言語条件付きの時間的な世界モデリングを与えつつ、その豊かな幾何的事前知識を保持する。シミュレーションと実機ロボットの幅広いマニピュレーションベンチマークにおいて、GAM は現在の基盤モデル規模のベースラインより正確で、頑健で、高速で、軽量である。

リンク

  • arXiv 2606.17046: https://arxiv.org/abs/2606.17046
  • PDF: https://arxiv.org/pdf/2606.17046v1
  • プロジェクトページ: https://cvlab-kaist.github.io/Geometric-Action-Model

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。