MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
著者: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
ライセンス
- オープンアクセス
- 論文: arXiv.org perpetual, non-exclusive license 1.0
arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。
重要な理由
Sim-to-Real転移には、ある程度の実世界データかタスク固有のファインチューニングが必要だと広く考えられている。著者らは、シミュレーションのみから未知の物体や環境へのゼロショット転移を報告しており、MolmoBotは4つの設定にわたる実機の卓上ピックアンドプレースで79.2%の成功率に達し、π0.5は39.2%だった。
提案手法
MolmoBot-Engineは、MolmoSpaces内でロボット、タスク、シミュレーション環境にまたがるデータを手続き的に生成するオープンソースのパイプラインである。著者らはMolmoBot-Data（170万件のエキスパート軌道）を公開し、3つのクラスのポリシーを学習させ、卓上タスク向けのFranka FR3と、Rainbow Robotics RB-Y1モバイルマニピュレータで評価している。
概要
ロボット学習では、シミュレーションだけでは不十分だという見方が支配的である。効果的なシミュレーションから実環境への転移（sim-to-real）には、シミュレーション環境と物理環境のギャップを埋めるために、少なくともある程度の実世界データ収集かタスク固有の微調整が必要だと広く信じられている。我々はこの前提に異を唱える。十分に大規模かつ多様なシミュレーションによる合成学習データがあれば、実世界へのゼロショット転移は可能であるだけでなく、静的操作とモバイル操作の両方で有効であることを示す。我々は、ロボット、タスク、多様なシミュレーション環境にまたがる手続き的データ生成のための完全にオープンソースなパイプライン MolmoBot-Engine を、MolmoSpaces 上で導入する。これを用いて、関節物体の操作とピックアンドプレースタスクのための 1.7百万件のエキスパート軌跡からなるデータセット MolmoBot-Data を公開する。我々は三つのポリシークラスを学習させる。Molmo2 をベースにした、フローマッチング行動ヘッドを持つマルチフレームの視覚言語モデル である MolmoBot、直接比較を可能にするために π0 のアーキテクチャを再現した MolmoBot-Pi0、そしてエッジへのデプロイに適し、強化学習による微調整にも向いた軽量ポリシー MolmoBot-SPOC である。評価は二つのロボットプラットフォームで行う。卓上の操作タスクには Franka FR3 を、ドアの開放、引き出しの操作、キャビネットとのインタラクション、モバイルピックアンドプレースにはモバイルマニピュレータ Rainbow Robotics RB-Y1 を用いる。実世界での微調整を一切行わずに、我々のポリシーは未知の物体と環境へのゼロショット転移を達成する。卓上ピックアンドプレースでは、MolmoBot は 4 つの設定にわたる実世界評価で 79.2% の成功率を達成し、39.2% の π0.5 を上回る。我々の結果は、手続き的な環境生成と多様な関節アセットを組み合わせることで、実世界へ広く汎化する頑健な操作ポリシーを生み出せることを示している。
リンク
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- コード: https://github.com/allenai/MolmoBot
- プロジェクトページ: https://allenai.github.io/MolmoBot/
- データセット: https://huggingface.co/datasets/allenai/molmobot-data