MolmoBot
Ai2 的機器人操作策略,只在模擬中訓練,可零樣本執行於 DROID Franka
授權條款
- code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
- MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
- MolmoBot-Data: ODC Attribution 1.0
分開授權。程式碼:Apache-2.0,依據 LICENSE,MolmoBot、MolmoBot-Pi0 和 MolmoBot-SPOC 三個套件中的文字相同。MolmoBot 檢查點,包括 MolmoBot-DROID 和 RB-Y1 策略:Apache-2.0,依據其 Hugging Face 卡片;它們由 Molmo2-4B 微調而來,後者同樣是 Apache-2.0,其卡片註明它以僅限學術和非商業研究的第三方資料集訓練。MolmoBot-Pi0-DROID:Gemma 授權,因為它建立在 PaliGemma 上。MolmoBot-SPOC 檢查點:授權只寫了 other,而其卡片指向的授權檔案並不存在。MolmoBot-Data:ODC-BY 1.0;部分場景使用採非商業授權的 Objaverse 物件,另附一份可商用回合清單。Ai2 要求依照其 Responsible Use Guidelines 使用這些模型和資料。於 2026-11-08 對照 LICENSE 和 Hugging Face 卡片查核。
概述
MolmoBot 是艾倫人工智慧研究所(Ai2)推出的一組機器人操作策略,只用模擬資料訓練,在真實機器人上執行時不需要任何真實資料,也不做微調。它的主要檢查點 MolmoBot-DROID 依據一台腕部攝影機、一台外部攝影機和一則文字指令(例如 put the red mug in the black bowl),控制 DROID 配置的 Franka 機器手臂。訓練資料 MolmoBot-Data 包含 1.7 百萬條專家軌跡,在 MuJoCo 中於超過 94,000 間程序化產生的房屋裡生成,並對物件、照明和攝影機位置做了大幅隨機化。Ai2 釋出了三類策略、適用於 Franka 和 Rainbow Robotics RB-Y1 移動操作機器人的九個檢查點、訓練與評估程式碼、資料集,以及資料生成引擎。論文於 CoRL 2026 發表。
MolmoBot 是 Ai2 與華盛頓大學、UCLA、達姆施塔特工業大學和普林斯頓大學合作推出的一組操作策略,用來驗證一個主張:只在模擬中訓練的策略,不用任何真實資料、也不微調,就能在真實機器人上運作,這是一種嚴格的模擬到現實(sim-to-real)遷移。它的主要檢查點 MolmoBot-DROID 控制一台依 DROID 方式架設的 Franka 機器手臂,配備 Robotiq 2F-85 夾爪、ZED Mini 腕部攝影機,以及一台可放在桌邊任何位置的 ZED 2 攝影機。收到一則文字指令,例如 "put the red mug in the black bowl",它就輸出機器手臂和夾爪的絕對關節位置。
資料來自 MolmoBot-Engine,這是一個程序化生成器,現已併入 MolmoSpaces 儲存庫。它把 iTHOR 和 Objaverse 的物件放進預先建好的 MolmoSpaces 房屋,在 MuJoCo 中算繪,並由腳本化的專家挑選抓取方式、規劃動作的每個階段(運動規劃),抓取滑脫時就從頭再來。照明、材質、摩擦、質量、機器人的起始姿態和每台攝影機的位置都會隨機化(領域隨機化)。最後得到的 MolmoBot-Data 包含 1.7 百萬條軌跡、5,704 小時的機器人經驗,涵蓋超過 94,000 個環境、11,000 個物件和 9,000 個容器,共 8 類任務,用於兩款機器人:做桌面取放的 Franka FR3,以及負責拿取物品、開啟抽屜、櫃子和門的移動操作機器人 Rainbow Robotics RB-Y1。產生這些資料約花了 6,500 GPU 小時。
以這些資料透過模仿學習訓練出三類策略。MolmoBot 本身建立在 Molmo2-4B 視覺語言模型(VLM)上,加上一個擴散 Transformer 動作頭,它讀取語言模型的每一層,以流匹配預測 16 步的關節位置片段;每台攝影機最多可輸入 3 張近期畫面。MolmoBot-Pi0 透過 openpi 的程式碼重現 π0 的架構,並從 PaliGemma 開始訓練,方便與 Physical Intelligence 自家的模型直接比較。MolmoBot-SPOC 是一個小型 Transformer 策略,鎖定邊緣裝置,也預留日後在模擬中進行強化學習。Hugging Face 上共有九個檢查點,分別用於 DROID Franka,以及 RB-Y1 上的開門和多任務操作。
在 DROID 機器人上,策略以伺服器形式在一台 GPU PC 上執行,機器人和夾爪則在 Polymetis 下運作;安裝指南說明攝影機、設定和用戶端腳本。一本示範筆記本能建立模擬場景、載入檢查點並跑完一個回合,完全不需要硬體;以公開資料重現 MolmoBot-DROID 的訓練指令都放在儲存庫裡。
在論文中,每個策略都在真實 DROID 機器人上執行了 120 次:4 個房間,每個房間 10 項取放任務,每項任務試 3 次,使用 2 個機構的 3 台機器人。MolmoBot 的成功率為 79.2%,以真實示範訓練的 π0.5-DROID 為 39.2%,而採用 π0 架構、只用模擬資料的 MolmoBot-Pi0 達到 46.7%。移動操作還不成熟:面對三扇需要拉開的真實房門,RB-Y1 在 9 次嘗試中成功開門 2 次。這些都是作者自己的結果;專案頁面附有真實 DROID 試驗的錄影。
為何重要
像 openpi 裡的 π0.5 這類開源 VLA 策略,要從超過 10,000 小時的真實機器人示範中學習,這些資料不公開,外界也無法重新產生。MolmoBot 改用模擬資料,任何人都能下載,或用公開的引擎重新產生;在作者的測試中,它在同一套 DROID 硬體上勝過 π0.5,而且從沒看過任何一筆真實示範。對擁有 DROID 式 Franka 的實驗室來說,這代表一個不必蒐集資料就能試用的策略,以及一套從場景生成到訓練的完整流程,可用來加入新任務或新機器人。它與 Ai2 會推理動作的 VLA MolmoAct2 互為對照:MolmoAct2 提供基礎檢查點,要針對每台機器人用 DROID 等真實示範微調,而 MolmoBot 只從模擬中學習,設計上就是直接拿來用。它的限制在於適用範圍:任務只有剛體取放和開啟,DROID Franka 或 RB-Y1 以外的機器人都需要自己的模擬資料和訓練。
解決的問題
訓練一個操作策略通常需要大量真實機器人示範,蒐集起來又慢又貴,而且大多不公開。MolmoBot 證明,只要隨機化的範圍夠大,程序化產生的模擬資料就能訓練出在真實機器人上零樣本可用的策略,並公開資料、生成器和訓練程式碼,讓其他人重現或延伸這項成果。
重點
- 只用模擬資料訓練的操作策略,不需以真實資料微調就能在真實機器人上執行
- MolmoBot-DROID 在 DROID Franka 上執行,只需一台腕部攝影機和一台可隨意擺放的外部攝影機
- 以 MolmoBot-Data 訓練:超過 94,000 間房屋中的 1.7 百萬條模擬專家軌跡
- 三類策略:以 Molmo2 為基礎的 VLA、π0 的重現版本,以及鎖定邊緣裝置的小型 Transformer
- 程式碼、大部分檢查點和資料生成引擎都已開放;資料集採 ODC-BY
- 在作者的測試中,真實取放成功率為 79.2%,π0.5-DROID 為 39.2%
適用對象
- 擁有 DROID 式 Franka、想不蒐集資料就取得取放策略的實驗室
- 研究模擬到現實遷移和合成訓練資料的機器人學習研究人員
- 為新機器人或新任務建立模擬資料流程的團隊
- 從事移動操作的 Rainbow Robotics RB-Y1 使用者
限制
- 釋出的檢查點只能在 DROID 式 Franka(Robotiq 2F-85 夾爪、ZED Mini 腕部攝影機和 ZED 2 外部攝影機、Polymetis)或 Rainbow Robotics RB-Y1 上執行;其他機器人需要新的模擬資料和訓練
- 任務僅限於剛體拿取、取放和開啟鉸接物件;作者指出插入、可變形物件和流體目前還做不到
- 移動操作仍在早期:RB-Y1 在 9 次嘗試中只有 2 次拉開真實房門
- MolmoBot-Pi0-DROID 採用 Gemma 授權,三個 MolmoBot-SPOC 檢查點只寫了 other 而且沒有授權檔案,因此並非每個檢查點都是 Apache-2.0
- MolmoBot-Data 約 10 TB,含有採非商業授權的 Objaverse 物件;另附一份可商用回合清單
- 訓練需要多 GPU 叢集:README 指出 MolmoBot-DROID 用了 8 到 64 張 H100 GPU,MolmoBot-Pi0-DROID 用了 32 張,MolmoBot-DROID 檢查點約 20 GB
- 所有結果都來自作者本身,在他們自己的機器人和模擬基準上取得