MolmoAct2: Action Reasoning Models for Real-World Deployment

作者: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

為何重要

多數能力強的機器人策略都是封閉的；開放的那些通常只公開權重，不公開背後的資料與訓練方法，或是預設使用昂貴的機器人。MolmoAct2 三者全都公開：模型權重、訓練程式碼與完整的訓練資料組合，其中包括約 720 小時在 YAM 手臂上新蒐集的雙臂遠端操作資料，作者估計整套平台不到 6,000 美元。這篇論文是了解這次釋出如何打造、效果如何的參考，CoRL 2026 也將它選為 spotlight。對本目錄的讀者來說，實用之處在於它有兩個微調後的檢查點，不需額外訓練就能在許多實驗室與愛好者已經擁有的硬體上執行：DROID 形式的 Franka 手臂，以及 SO-100 或 SO-101 手臂。論文也提出其他模型開發者可以沿用的做法：一個以開放方式訓練、類似 FAST 的動作分詞器；一條把 1,222 個社群上傳的 LeRobot 資料集轉成可用訓練資料的篩選流程；以及一個在每一層都以骨幹模型的鍵與值為條件的動作專家，在作者的消融實驗中勝過以隱藏狀態為條件的做法。模型本身連同檢查點與部署指南，在我們的目錄中另有專頁；本頁介紹的是論文的方法與結果。

問題

VLA（視覺-語言-動作）模型可望用一個控制器驅動多種機器人，但論文指出實際部署有四個障礙。最強的模型是封閉的，少數開放權重的模型也不公開資料與訓練方法，因此沒有人能重現或延伸。可以直接使用的開放模型綁定昂貴或特殊的機器人。先推理再行動的策略，例如預測深度、目標影像或軌跡，每一步要耗費數百個 token，對閉迴路控制來說太慢。即使經過微調，在貼近實際的任務上成功率仍達不到可靠使用的要求。公開的機器人資料本身也無法解決這些問題：Open X-Embodiment 品質不一，DROID 有很大一部分是閒置或重複的片段，社群上傳的 SO-100 資料帶有 lerobot_test 之類的佔位標籤，而且沒有任何開放資料集在作者想部署的平台上提供高品質的雙臂資料。

提出的方法

作者先以約 3.3M 筆具身推理樣本（指點、空間與影片問答、多視角對應）的語料，把自家的視覺語言模型 Molmo2 微調成 Molmo2-ER。他們蒐集了一個雙臂 YAM 資料集，共 34,500 筆示範、涵蓋 28 項以上任務，並依結構、授權與品質篩選社群上傳的 SO-100/101 資料與 DROID，同時用開放的 VLM 重新標註指令。接著訓練分為三個階段。預訓練讓骨幹模型學會輸出 MolmoAct2-FAST Tokenizer 的離散動作 token；這是 FAST 的開放重新實作，詞彙表有 2,048 個 token，以來自五種機器人形態的一百萬條動作序列訓練而成。後訓練加入一個 DiT 風格的動作專家，層數與骨幹模型相同，都是 36 層；專家的每一層對骨幹模型對應層的鍵與值做交叉注意力，並以流匹配訓練，骨幹模型則保留原本的 token 損失。微調再把模型調整到特定機器人上，產出雙臂 YAM、DROID Franka、SO-100/101 與 LIBERO 的檢查點。MolmoAct2-Think 在行動前加入 10 乘 10 的深度 token 網格，只重新預測自上一步以來影像區塊有變化的格子。快取與 CUDA Graphs 加快了推論。

關鍵見解

• 為具身推理而訓練的骨幹模型能直接幫助動作學習：在相同的離散動作設定下，把 Molmo2 換成 Molmo2-ER，LIBERO-Long 的成功率從 77.6% 提高到 83.6%
• 動作專家的每一層若讀取骨幹模型對應層的鍵與值，效果更好：在 LIBERO 上達到 95.9%，以隱藏狀態為條件時為 94.0%
• 推理不必每一步都完整重算：MolmoAct2-Think 只針對有變化的影像格子重新預測深度 token，以一小部分的延遲保留幾何接地
• 對社群資料而言，整理和規模一樣重要：結構檢查、授權檢查與品質門檻，把 1,222 個社群上傳的 SO-100/101 資料集變成訓練資料，而用開放的 VLM 重新標註，讓不重複的指令數量增加一倍
• 連續路徑才是快的那一條：把同一個動作區塊解碼成離散 token，速度是 14.17 Hz，流匹配專家則是 55.79 Hz，因此部署時預設使用專家

主要結果

• 在真實的 DROID Franka 上不需額外訓練，攝影機隨機擺放，物件與場景都沒見過，MolmoAct2-DROID 在五項夾取放置任務（每項 15 次試驗）的平均成功率為 87.1%，MolmoBot 為 48.4%，π0.5-DROID 為 45.2%
• 在真實的 SO-100 手臂上不需額外訓練，MolmoAct2-SO100/101 在五項任務（含部分得分）取得 56.7%，作者以相同資料微調的 π0 為 45.3%，SmolVLA 為 2.3%
• 在模擬中不做微調，MolmoAct2-DROID 在 MolmoSpaces 上平均 37.7%，π0.5-DROID 為 34.5%；在 MolmoBot 上為 20.6%，對照為 10.0%
• 微調後在 LIBERO 上達到 97.2%（MolmoAct2-Think 為 98.1%），π0.5 為 96.9%，先前的 MolmoAct 為 86.6%；在雙臂基準測試 RoboEval 上為 44.3%，π0.5 為 40.5%
• 在 8 項真實雙臂 YAM 任務上微調、每項 50 次試驗，平均 50.1%，8 項中贏下 7 項，比第二名 OpenVLA-OFT 高出 15 個百分點
• Molmo2-ER 在 13 個具身推理基準測試上平均 63.8%，領先 Gemini Robotics-ER 1.5 Thinking（61.3%）與 GPT-5（57.9%），比起點 Molmo2 高 17 個百分點
• 在一張 H100 上，快取與 CUDA Graphs 讓 MolmoAct2 的控制頻率從 23.02 Hz 提高到 55.79 Hz，MolmoAct2-Think 從 8.04 Hz 提高到 12.71 Hz

限制

• 程式碼的授權很清楚，權重則沒那麼清楚：儲存庫的 LICENSE 檔案是 Apache-2.0，README 表示模型採 Apache 2.0 授權，依 Ai2 的 Responsible Use Guidelines 供研究與教育使用，但 MolmoAct2 各檢查點的 Hugging Face 模型卡都沒有標示授權（只有 Molmo2-ER 的有）。機器人資料集的卡片標示 Apache-2.0，部分轉存的 Molmo2-ER 訓練資料集則保留來源的條款，其中 VST-P 採非商業的 CC BY-NC 4.0
• 策略以開迴路方式執行固定的動作區塊：沒有機制確保區塊之間動作平順，它無法在一個區塊內對接觸或干擾做出反應，作者也指出 55.79 Hz 是按區塊攤提的吞吐量，而不是閉迴路的反應能力
• 不需額外訓練的使用僅限於它所訓練的三個平台（雙臂 YAM、SO-100/101 與 DROID Franka）；其他機器人、機械手、移動式操作機器人或人形機器人都需要用自己的示範資料微調，README 也說明直接使用的效果只在 SO-100 與 Franka DROID 上、針對訓練分布內的簡單任務驗證過
• 結果都由作者自行回報：真實環境的零樣本測試每項任務 15 次試驗，SO-100 的分數含部分得分，兩個模擬基準測試（MolmoSpaces 與 MolmoBot）以及 MolmoBot 基準模型都來自 Ai2，SO-100 的 π0 基準模型由作者自行微調，而且穩健性表格把這一列標為 MolmoAct2-Think，內文卻把結果歸於 MolmoAct2
• 訓練遠超過單張實驗室 GPU 的能力：光是預訓練就用了約 5,760 個 H100 GPU 小時，後訓練約 2,304 個，每個檢查點約 22 GB，README 也提到以 bfloat16 推論需要修補模型程式碼

對領域的影響

MolmoAct2 是少數權重、程式碼與完整訓練資料全部公開的 VLA 模型之一，因此其他團隊可以重新訓練、檢驗或延伸每一個階段，而不只是微調一個已釋出的檢查點。它把開放的比較基準帶到價格親民的硬體上：作者回報了在 SO-100 手臂與 DROID Franka 上、於未見過的場景中不需額外訓練的結果，以及在實驗室外的雙臂 YAM 平台上微調後的結果。有兩項設計結論可能會延伸到這個模型之外：讓動作專家以骨幹模型逐層的鍵與值為條件，以及讓推理 token 變成自適應，使其成本取決於場景變化的多寡。釋出的雙臂 YAM 資料（作者稱之為目前最大的開放雙臂資料集），以及篩選後的 SO-100/101 與 DROID 子集，本身就是重要資源。許多比較使用的是作者自己的基準測試與基準模型，差距能維持多少，仍有待獨立重現來確認。

摘要

視覺-語言-動作（VLA）模型的目標，是為機器人提供單一的通用控制器，但現有系統還不足以在真實世界中部署。最先進的模型是封閉的；開放權重的替代方案綁定昂貴的硬體；具備推理能力的策略為了接地付出過高的延遲；而微調後的成功率仍低於可靠使用所需的門檻。我們提出 MolmoAct2，一個為實際部署打造、完全開放的動作推理模型，從五個面向改進前一代的 MolmoAct。（1）MolmoAct2 建立在我們新的 Molmo2-ER 之上，這是一個專精於空間與具身推理的視覺語言模型（VLM）骨幹，以「先專精、再複習」的方式，在約 3.3M 筆樣本的語料上訓練。（2）我們釋出三個涵蓋低至中等成本平台的新機器人資料集：MolmoAct2-BimanualYAM Dataset，包含 720 小時以遠端操作蒐集的雙臂軌跡，是目前最大的開放雙臂資料集；MolmoAct2-DROID Dataset，從 DROID 中依品質篩選出的 Franka 子集；以及 MolmoAct2-SO100/101 Dataset，依品質篩選的 SO-100/101 子集。（3）我們訓練並釋出 MolmoAct2-FAST Tokenizer，一個權重與資料都開放的動作分詞器，以來自五種機器人形態的數百萬條軌跡訓練而成。（4）我們設計了新的 VLA 架構，透過逐層的鍵值（KV）條件化，把離散 token 的 VLM 接到以流匹配訓練的連續動作專家上。（5）我們提出 MolmoAct2-Think，一個自適應深度的推理版本，只針對相鄰時間步之間有變化的場景區域重新預測深度 token，以遠低於先前的延遲保留幾何接地。在目前針對開放 VLA 規模最大的實證研究中，涵蓋 7 個模擬與真實世界基準測試，MolmoAct2 勝過包括 π0.5 在內的強大基準模型，而 Molmo2-ER 在 13 個具身推理基準測試上超越 GPT-5 與 Gemini Robotics ER-1.5。我們公開模型權重、訓練程式碼與完整的訓練資料。

連結

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• 程式碼: https://github.com/allenai/molmoact2
• 專案頁面: https://allenai.org/blog/molmoact2