Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

著者: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

5 段階（ウェブデータ、複数ロボットでの事前学習、ロボットへの調整、RL）で訓練した約 4B の VLA 1 つが、共有の 64 スロット行動空間を通じてヒューマノイド、双腕、単腕のロボットを制御する。

重要な理由

論文は、異種のロボットデータセットを混ぜるための具体的で再利用可能なレシピを示している。マスク付きの統一行動スロット、フローに基づく速度の整合、データセットの重み付けのための品質指標、均一な状態から始まるサンプリングスケジュールである。RL の段階では、RL の勾配をベースモデルに逆伝播させずに flow matching の方策を改善し、同じチェックポイント群を実機のヒューマノイド、実機の双腕協働ロボット、2 つのシミュレーションベンチマークで評価している。

課題

ロボットのデータセットは観測のレイアウト、行動空間、サンプリングレートが異なり、品質も揺れの大きい軌道からぼやけたフレームまでさまざまである。すべての行動を 1 つのベクトルにパディングすると、複数ロボットの方策は互いに相容れない目標を平均してしまい、行動クローニングだけでは長期的で接触の多いタスクで頭打ちになる。思考の連鎖（chain-of-thought）で計画する推論重視の VLA は、リアルタイム制御では許容できないレイテンシを加える。

提案手法

訓練は段階的に行われる。PaliGemma (3B) をベースとし、24M サンプルでのウェブのマルチモーダルなグラウンディング（L1）、約 3,000 時間の複数ロボットデータでの事前学習（R0）、機体固有のファインチューニング（R1）、そして Q 関数でデータを改善し flow matching の行動エキスパートのためのノイズアクターを学習する RL による整合（R2）である。DataQA パイプラインは揺れ、鮮明さ、多様性、状態の分散によってエピソードをフィルタリングし、オプティカルフローに基づく再サンプリングでデータセット間の動作速度をそろえ、機体プロンプト付きのマスクされた 64 次元の統一行動空間がゼロパディングに代わる。推論時には、方策がエピソードの進捗を予測し、混合ガウスによる OOD 検出器が状態を訓練分布の方へ押し戻し、結合予測モジュールが VLM の指し示した 2D の目標を 3D に持ち上げて、flow matching をそこへ誘導する。

主な知見

  • 異種の行動をゼロパディングで 1 つのベクトルにまとめると、使われない次元に見かけ上の損失が加わる。固定の意味的レイアウトに合わせて損失をマスクすればそれがなくなり、1 つの方策で関節空間とデカルト空間の意味を並べて保てる。
  • データセットの混合比を均一から始めて徐々に目標の重みへ移すことで、大きなデータセットが高モーメンタムのオプティマイザを支配し、まれな機体のデータを押し流すことを防げる。
  • ロボットの左右対称性に沿ってエピソードを鏡映し、可逆なスキルを時間反転することで、48 時間のヒューマノイドの記録を 167 時間分の実効的な訓練時間に拡張した。
  • flow matching のサンプラーを、言語でグラウンディングした 3D の目標点へ誘導すると、特定品目のピッキングが方策単独で達成できる水準をはるかに上回る。
  • Q 勾配で軌道を編集する、あるいは元となるノイズの分布を学習する RL による整合は、ベースモデルの重みを RL の勾配に触れさせないまま成功率を改善する。

主な結果

  • 実機の AgileX Cobot Magic でのテーブル片付け。ファインチューニングなしの R0 チェックポイントを 20,000 イテレーションのファインチューニングをしたベースラインと比較：最初の品目の成功率は 69.5% で、AgiBot GO-1 は 38.4%、π0 は 35.6%。平均片付け時間は 1m35s で、π0 は 2m59s。
  • Simpler Google Robot の全体平均：60.2（R0）、61.3（R1）、71.8（R2）。ファインチューニングした π0 は 56.8、RT-1-X は 46.5、OpenVLA は 33.8。
  • Simpler WidowX の平均成功率：45.0（R0）、55.2（R1）、79.1（R2）。DB-MemVLA は 73.2、ファインチューニングした π0 は 27.1。本文では R1 から R2 への向上を絶対値で 24% としている。
  • CALVIN ABC→D の平均チェーン長：π0 R1 は 3.6、Green-VLA R1 は 4.18、Flower R1 は 4.53、Green-VLA R2 は 4.63。
  • EC の棚からのピッキング：結合予測のガイダンスにより、top-1 成功率は 62.3% から 95.4%（ブランド単位）、36.7% から 93.1%（SKU の完全一致）、10.2% から 72.8%（未見の SKU）に上がった。
  • Fig. 12 にプロットされた Green ヒューマノイドの指示追従の成功率：ピッキング 98%、かごに入れる 100%、かごから取る 77%、ユーザーに渡す 99%、受け渡し 84%、テーブル全体の片付け 87%、平均 90%。

制限事項

  • 著者らは、性能が依然としてリターゲティングの忠実度、データセットに残るバイアス、巧緻なスキルの十分なカバレッジに依存すると述べている。
  • 軌道最適化による RL のステップは軌道の改善を保証しないため、最適化した軌道はすべて、データに加える前にオペレーターがシーンをリセットして再実行することで検証される。
  • CALVIN では R1 モデル（ACL 4.18）は Flower R1（4.53）に及ばず、このベンチマークでは統一行動空間は使われていない。R2 は 4.63 に達する。
  • Flower、OpenVLA、RT-1-X の Simpler の数値は再実行ではなく既発表の報告から取られており、ヒューマノイドの結果はエピソード数なしの百分率で示されている。Fig. 12 のキャプションはドメイン内とドメイン外の設定に言及しているが、グラフには系列が 1 つしかない。
  • R0 のテーブル片付けの比較は、調整していない Green-VLA を、タスクデータでファインチューニングしたベースラインと比べたものであり、軽量な推論モジュールと多言語の指示は今後の課題とされている。

分野への影響

Hugging Face の daily papers：賛成票 311 件で、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。論文にはコードリポジトリとプロジェクトページへのリンクがある。

概要

我々は、多様な機体にわたる汎化を保ちながら、ヒューマノイドロボット Green 上での実世界展開を行うための、段階的な Vision–Language–Action フレームワーク Green-VLA を導入する。Green-VLA は 5 段階のカリキュラムに従う。(L0) 基盤となる VLM、(L1) マルチモーダルなグラウンディング、(R0) 多機体での事前学習、(R1) 機体固有の適応、(R2) RL に基づく方策の整合である。段階を進めることで意味的・物理的な事前知識を築き、共有されたアフォーダンスを学習し、行動クローニングを超えた長期的な実行のために方策を整合させる。その中核にあるのは、ロボットフリートのための統一されたデータ・制御スタックである。DataQA と時間的整合を含むスケーラブルなデータ処理パイプラインが 3,000 時間のデモンストレーションをフィルタリング・同期し、統一された機体を考慮する行動インターフェースにより、単一の方策がヒューマノイド、モバイルマニピュレータ、固定ベースのアームを制御できる。さらに VLA コントローラは、エピソード進捗の予測、分布外の検出、未見の物体にも汎化する結合予測に基づくガイダンスモジュールによって強化されている。Green ヒューマノイド向けに最適化された Green-VLA は、新しい機体にゼロショットで汎化し、双腕システムやベンチマーク全体で最先端の性能を達成する。RL による整合は、成功率、頑健性、長期的な効率の向上をもたらす。

リンク

  • arXiv 2602.00919: https://arxiv.org/abs/2602.00919
  • PDF: https://arxiv.org/pdf/2602.00919v1
  • コード: https://github.com/greenvla/GreenVLA
  • プロジェクトページ: https://greenvla.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。