MolmoAct2: Action Reasoning Models for Real-World Deployment

著者: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

重要な理由

高性能なロボットポリシーの多くはクローズドで、オープンなものも重みだけを公開して背後のデータやレシピは出さないか、高価なロボットを前提にしています。MolmoAct2 はその三つ、つまりモデルの重み、学習コード、学習データの全体をすべて公開しています。そこには YAM アームで新たに収集した約 720 時間の双腕遠隔操作データも含まれ、著者によればセットアップ一式は 6,000 米ドル未満です。この論文は、その公開物がどう作られ、どれだけ機能するかを知るための基準となる資料で、CoRL 2026 では spotlight に選ばれました。このカタログの読者にとって実用的なのは、ファインチューニング済みチェックポイントのうち二つが、多くの研究室や愛好家がすでに持っているハードウェア、つまり DROID 形式の Franka アームと SO-100 または SO-101 アームで、追加学習なしに動く点です。論文は、ほかのモデル開発者が再利用できる考え方も示しています。オープンに学習した FAST 形式の行動トークナイザー、コミュニティが投稿した 1,222 の LeRobot データセットを使える学習データに変えるフィルタリングの流れ、そして各層でバックボーンのキーとバリューを条件とする行動エキスパートです。最後の点は、著者のアブレーションで隠れ状態を条件とする方式を上回りました。モデルそのものはチェックポイントや導入ガイドとともに、このカタログの別ページで紹介しています。このページでは論文の手法と結果を扱います。

課題

視覚・言語・行動モデルは一つの制御装置で多くのロボットを動かすことを約束していますが、論文は実運用を阻む四つの障害を挙げています。最も強いモデルはクローズドで、数少ないオープンウェイトのモデルもデータと学習レシピを公開していないため、誰も再現や拡張ができません。そのまま動くオープンなモデルは、高価または特殊なロボットに縛られています。行動の前に推論するポリシーは、たとえば深度、目標画像、軌道を予測するために一ステップごとに数百のトークンを費やし、閉ループ制御には遅すぎます。さらにファインチューニング後でも、現実的なタスクでの成功率は信頼して使える水準を下回ります。公開されたロボットデータだけではこれを解決できません。Open X-Embodiment は品質にばらつきがあり、DROID の多くは停止中や繰り返しの区間で、コミュニティが投稿した SO-100 のデータには lerobot_test のような仮のラベルが付いており、著者が運用したいプラットフォームで高品質な双腕データを提供するオープンなデータセットはありませんでした。

提案手法

著者はまず、自分たちの視覚言語モデル Molmo2 を、約 3.3M の身体性推論の例（ポインティング、空間や動画に関する質問、複数視点間の対応付け）からなるコーパスでファインチューニングし、Molmo2-ER を作ります。28 以上のタスクにわたる 34,500 件のデモからなる双腕 YAM データセットを収集し、コミュニティが投稿した SO-100/101 データと DROID を構造、ライセンス、品質で選別して、指示文をオープンな VLM で付け直します。学習はその後三段階で進みます。事前学習では、バックボーンが MolmoAct2-FAST Tokenizer の離散行動トークンを出力するよう学習します。これは FAST をオープンに再実装したもので、語彙は 2,048 トークン、五つのエンボディメントにわたる百万の行動系列で学習されています。事後学習では、バックボーンと同じ 36 層を持つ DiT 形式の行動エキスパートを追加します。エキスパートの各層は対応するバックボーン層のキーとバリューにクロスアテンションし、フローマッチングで学習され、バックボーンはトークンの損失を保ちます。最後のファインチューニングでモデルを一台のロボットに合わせ、双腕 YAM、DROID の Franka、SO-100/101、LIBERO 向けのチェックポイントを作ります。MolmoAct2-Think は行動の前に 10 × 10 の深度トークンのグリッドを加え、前のステップから画像パッチが変わったセルだけを予測し直します。キャッシュと CUDA Graphs で推論を高速化しています。

主な知見

• 身体性推論向けに学習したバックボーンは行動学習を直接助ける：同じ離散行動の設定で Molmo2 を Molmo2-ER に替えると、LIBERO-Long の成功率が 77.6% から 83.6% に上がる
• 行動エキスパートは、各層が対応するバックボーン層のキーとバリューを読むほうがよく働く：LIBERO で 95.9%、隠れ状態で条件付けた場合は 94.0%
• 推論のたびにすべてを予測し直す必要はない：MolmoAct2-Think は変化した画像セルの深度トークンだけを予測し直し、わずかなレイテンシで幾何的な接地を保つ
• コミュニティのデータでは、量と同じくらい整理が重要：構造のチェック、ライセンスのチェック、品質の関門によって、コミュニティが投稿した 1,222 の SO-100/101 データセットが学習データになり、オープンな VLM で指示文を付け直すと固有の指示の数が倍になる
• 速いのは連続のほう：同じ行動チャンクを離散トークンとしてデコードすると 14.17 Hz、フローマッチングのエキスパートでは 55.79 Hz で、運用ではエキスパートが既定になる

主な結果

• 実機の DROID Franka で追加学習なし、カメラはランダムに配置し、物体もシーンも未知という条件で、MolmoAct2-DROID は五つのピック・アンド・プレースタスク（各 15 試行）で平均 87.1%。MolmoBot は 48.4%、π0.5-DROID は 45.2%
• 実機の SO-100 アームで追加学習なし、MolmoAct2-SO100/101 は部分点ありの五つのタスクで 56.7%。著者が同じデータでファインチューニングした π0 は 45.3%、SmolVLA は 2.3%
• ファインチューニングなしのシミュレーションで、MolmoAct2-DROID は MolmoSpaces で平均 37.7%（π0.5-DROID は 34.5%）、MolmoBot で 20.6%（比較対象は 10.0%）
• ファインチューニング後は LIBERO で 97.2%（MolmoAct2-Think は 98.1%）で、π0.5 は 96.9%、以前の MolmoAct は 86.6%。双腕ベンチマーク RoboEval では 44.3%、π0.5 は 40.5%
• 実機の双腕 YAM の 8 タスク（各 50 試行）でファインチューニングし、平均 50.1%、8 タスク中 7 つで首位。次点の OpenVLA-OFT を 15 ポイント上回る
• Molmo2-ER は 13 の身体性推論ベンチマークで平均 63.8% となり、Gemini Robotics-ER 1.5 Thinking（61.3%）と GPT-5（57.9%）を上回り、出発点の Molmo2 より 17 ポイント高い
• H100 一枚で、キャッシュと CUDA Graphs により制御レートは MolmoAct2 で 23.02 Hz から 55.79 Hz に、MolmoAct2-Think で 8.04 Hz から 12.71 Hz に上がる

制限事項

• コードのライセンスは明確だが、重みはそうでもない：リポジトリの LICENSE ファイルは Apache-2.0 で、README はモデルが Apache 2.0 でライセンスされ、Ai2 の Responsible Use Guidelines に沿った研究・教育用途を想定していると書くが、MolmoAct2 の各チェックポイントの Hugging Face モデルカードにはライセンスの記載がない（記載があるのは Molmo2-ER のカードだけ）。ロボットデータセットのカードは Apache-2.0 とする一方、再配布された Molmo2-ER の学習データの一部は元の条件を引き継いでおり、その中には非商用の CC BY-NC 4.0 の VST-P がある
• ポリシーは固定長の行動チャンクを開ループで実行する：チャンクの境目で動きを滑らかにする仕組みはなく、チャンクの途中で接触や外乱に反応できず、著者も 55.79 Hz はチャンク単位で償却したスループットであって閉ループの反応性ではないと述べている
• 追加学習なしで使えるのは学習対象の三つのプラットフォーム（双腕 YAM、SO-100/101、DROID の Franka）に限られる。ほかのロボット、ハンド、移動マニピュレーター、ヒューマノイドでは自前のデモによるファインチューニングが必要で、README もそのままでの性能は SO-100 と Franka DROID で、学習分布内の簡単なタスクについてしか確認していないとしている
• 結果は著者自身によるもの：実機のゼロショット試験はタスクごとに 15 試行、SO-100 の得点は部分点を含み、二つのシミュレーションベンチマーク（MolmoSpaces と MolmoBot）と MolmoBot のベースラインは Ai2 のもの、SO-100 の π0 ベースラインは著者がファインチューニングしたもので、さらにロバスト性の表ではその行を MolmoAct2-Think としているのに本文は結果を MolmoAct2 のものとしている
• 学習は研究室の GPU 一枚では到底まかなえない：事前学習だけで約 5,760 H100 GPU 時間、事後学習で約 2,304 時間を使い、チェックポイントはそれぞれ約 22 GB あり、README によれば bfloat16 での推論にはモデルコードへのパッチが必要

分野への影響

MolmoAct2 は、重み、コード、完全な学習データがすべて公開されている数少ない視覚・言語・行動モデルの一つです。ほかのグループは、公開されたチェックポイントをファインチューニングするだけでなく、すべての段階を学習し直し、検証し、拡張できます。また、オープンなベースラインを手頃なハードウェアに持ち込みました。著者は、未知のシーンで SO-100 アームと DROID の Franka を追加学習なしで動かした結果と、研究室の外にある双腕 YAM 環境でファインチューニングした結果を報告しています。設計上の二つの知見は、このモデルを超えて広がりそうです。行動エキスパートをバックボーンの層ごとのキーとバリューで条件付けること、そして推論トークンを適応的にし、そのコストをシーンの変化量に合わせることです。公開された双腕 YAM データ（著者によれば現時点で最大のオープンな双腕データセット）と、選別済みの SO-100/101 および DROID のサブセットは、それ自体が貴重な資源です。比較の多くは著者自身のベンチマークとベースラインを使っているため、差がどこまで保たれるかは独立した再現が決めることになります。

概要

視覚・言語・行動（VLA）モデルは、ロボットのための単一の汎用的な制御装置を目指しているが、現在のシステムは実世界での運用には不十分である。最先端のモデルはクローズドであり、オープンウェイトの代替は高価なハードウェアに縛られ、推論を組み込んだポリシーは接地のために法外なレイテンシを払い、ファインチューニング後の成功率も信頼して使える水準に届かない。本稿では、実用的な運用のために作られた完全オープンな行動推論モデル MolmoAct2 を提示する。これは前身の MolmoAct を五つの軸で前進させるものである。（1）MolmoAct2 は、空間推論と身体性推論に特化したVLM バックボーンである新しい Molmo2-ER の上に構築され、このバックボーンは 3.3M サンプルのコーパスを用い、「特化してから復習する」レシピで学習されている。（2）低～中コストのプラットフォームにまたがる三つの新しいロボットデータセットを公開する。MolmoAct2-BimanualYAM Dataset は 遠隔操作 で収集した 720 時間の双腕軌道からなり、現時点で最大のオープンな双腕データセットである。MolmoAct2-DROID Dataset は DROID から品質で選別した Franka のサブセット、MolmoAct2-SO100/101 Dataset は品質で選別した SO-100/101 のサブセットである。（3）MolmoAct2-FAST Tokenizer を学習して公開する。これは重みもデータもオープンな行動トークナイザーで、五つのエンボディメントにわたる数百万の軌道で学習されている。（4）離散トークンの VLM を、層ごとのキー・バリュー（KV）条件付けによってフローマッチングの連続行動エキスパートに接ぎ木する新しい VLA アーキテクチャを設計する。（5）MolmoAct2-Think を提案する。これは適応的な深度推論の変種で、時間ステップ間で変化したシーン領域についてのみ深度トークンを予測し直し、従来のわずかな一部のレイテンシで幾何的な接地を保つ。7 つのシミュレーションと実世界のベンチマークにまたがる、オープンな VLA としてこれまでで最も大規模な実証研究において、MolmoAct2 は π0.5 を含む強力なベースラインを上回り、Molmo2-ER は 13 の身体性推論ベンチマークで GPT-5 と Gemini Robotics ER-1.5 を上回る。モデルの重み、学習コード、完全な学習データを公開する。

リンク

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• コード: https://github.com/allenai/molmoact2
• プロジェクトページ: https://allenai.org/blog/molmoact2