MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
作者: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
授權條款
依 arXiv 的授權條款，以下內容僅依據摘要撰寫。
為何重要
一般普遍認為模擬到現實遷移需要一些真實世界資料或針對特定任務的微調。作者報告僅憑模擬即可零樣本遷移至未見過的物體與環境：MolmoBot 在四種設定下的真實桌面取放任務中達到 79.2% 的成功率，π0.5 則為 39.2%。
提出的方法
MolmoBot-Engine 是一套開源管線，可在 MolmoSpaces 中跨機器人、任務與模擬環境以程序化方式產生資料；作者釋出 MolmoBot-Data（170 萬條專家軌跡），並訓練三類策略，分別在用於桌面任務的 Franka FR3 與 Rainbow Robotics RB-Y1 移動式操作機器人上進行評估。
摘要
機器人學習領域普遍認為，光靠模擬並不足夠；一般相信，要達成有效的模擬到現實（Sim-to-Real）遷移，至少需要蒐集一些真實世界資料，或進行針對任務的微調，才能彌補模擬環境與實體環境之間的落差。我們挑戰這個假設。只要模擬合成的訓練資料規模夠大、夠多樣，我們證明零樣本遷移到真實世界不僅可行，而且對靜態操作與移動操作都有效。我們推出 MolmoBot-Engine，這是一套完全開源的管線，可在 MolmoSpaces 中跨機器人、任務與多樣的模擬環境進行程序化資料生成。透過它，我們釋出 MolmoBot-Data，一個包含 1.7 百萬條專家軌跡的資料集，涵蓋鉸接物體操作與取放任務。我們訓練三類策略：MolmoBot，一個以 Molmo2 為基礎的多影格視覺語言模型（VLM），搭配流匹配動作頭；MolmoBot-Pi0，複製 π0 架構以便直接比較；以及 MolmoBot-SPOC，一個適合邊緣部署、也適合以強化學習進行微調的輕量策略。我們在兩個機器人平台上評估：用於桌面操作任務的 Franka FR3，以及用於開門、操作抽屜、與櫥櫃互動和移動取放的 Rainbow Robotics RB-Y1 移動操作機器人。不需任何真實世界的微調，我們的策略就能以零樣本方式遷移到未見過的物體與環境。在桌面取放任務上，MolmoBot 在 4 個場景的真實世界評估中達到 79.2% 的成功率，勝過 π0.5 的 39.2%。我們的結果顯示，程序化環境生成結合多樣的鉸接資產，能產生穩健的操作策略，並廣泛泛化到真實世界。
連結
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- 程式碼: https://github.com/allenai/MolmoBot
- 專案頁面: https://allenai.github.io/MolmoBot/
- 資料集: https://huggingface.co/datasets/allenai/molmobot-data