Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

MolmoBot

シミュレーションだけで学習し、DROID Franka でゼロショット動作する Ai2 の操作ポリシー

ライセンス

  • code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
  • MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
  • MolmoBot-Data: ODC Attribution 1.0

部分ごとに異なるライセンス。コード:Apache-2.0。LICENSE による。MolmoBot、MolmoBot-Pi0、MolmoBot-SPOC の各パッケージに同じ文面がある。MolmoBot のチェックポイント(MolmoBot-DROID と RB-Y1 のポリシーを含む):Apache-2.0。Hugging Face のカードによる。Molmo2-4B からファインチューニングされており、このベースモデルも Apache-2.0 だが、そのカードには学術・非商用の研究に限られた第三者のデータセットで学習したと記されている。MolmoBot-Pi0-DROID:PaliGemma をベースにしているため Gemma ライセンス。MolmoBot-SPOC のチェックポイント:ライセンスは other とだけ記載され、カードが指すライセンスファイルは存在しない。MolmoBot-Data:ODC-BY 1.0。一部のシーンは非商用ライセンスの Objaverse の物体を使っており、商用利用できるエピソードの一覧が付属する。Ai2 はモデルとデータを同社の Responsible Use Guidelines に沿って使うよう求めている。2026-11-08 に LICENSE と Hugging Face のカードで確認。

概要

MolmoBot は Allen Institute for AI(Ai2)によるロボット操作ポリシーのファミリーで、シミュレーションデータだけで学習し、実データもファインチューニングも使わずに実機で動作します。主力チェックポイントの MolmoBot-DROID は、手首カメラ一台、外部カメラ一台、put the red mug in the black bowl のようなテキスト指示から、DROID 構成の Franka アームを動かします。学習データ MolmoBot-Data は、MuJoCo 上で 94,000 軒を超える手続き的に生成された家の中で作られた 1.7百万件のエキスパート軌道で、物体、照明、カメラ配置を大きくランダム化しています。Ai2 は 三種類のポリシー、Franka と移動マニピュレータ Rainbow Robotics RB-Y1 向けの 九個のチェックポイント、学習・評価コード、データセット、データ生成エンジンを公開しています。論文は CoRL 2026 で発表されます。

MolmoBot は Ai2 がワシントン大学、UCLA、ダルムシュタット工科大学、プリンストン大学と共同で開発した操作ポリシー群で、ひとつの主張を検証するために作られました。シミュレーションだけで学習したポリシーが、実データもファインチューニングもなしに実機で動くという、厳密な意味での sim-to-real 転移です。主力チェックポイントの MolmoBot-DROID は、DROID と同じ構成の Franka アームを制御します。Robotiq 2F-85 グリッパー、ZED Mini の手首カメラ、そしてテーブルの周りのどこに置いてもよい ZED 2 カメラを使います。"put the red mug in the black bowl" のようなテキスト指示を受け取ると、アームとグリッパーの絶対関節位置を出力します。

データは MolmoBot-Engine から生まれます。これは手続き的なジェネレーターで、現在は MolmoSpaces リポジトリに含まれています。iTHOR と Objaverse の物体を構築済みの MolmoSpaces の家に配置し、MuJoCo でレンダリングし、スクリプト化されたエキスパートに把持を選ばせ、動作の各段階を計画させ(モーションプランニング)、把持が滑ったときはやり直させます。照明、テクスチャ、摩擦、質量、ロボットの初期姿勢、すべてのカメラの位置がランダム化されます(ドメインランダム化)。こうしてできた MolmoBot-Data には 1.7百万件の軌道と 5,704 時間分のロボット経験が含まれ、94,000 を超える環境、11,000 個の物体、9,000 個の置き場所にまたがります。タスクは 8 種類で、ロボットは二台です。卓上のピック・アンド・プレイスには Franka FR3、物を拾う作業と引き出し、戸棚、ドアを開ける作業には移動マニピュレータ Rainbow Robotics RB-Y1 を使います。生成には約 6,500 GPU 時間かかりました。

このデータで 三種類のポリシーを模倣学習で学習させています。MolmoBot 本体は Molmo2-4B の視覚言語モデルをベースに、言語モデルの各層を読み取る拡散トランスフォーマーのアクションヘッドを備え、フローマッチングで 16 ステップ分の関節位置をまとめて予測します。カメラごとに直近の画像を最大 3 枚入力できます。MolmoBot-Pi0 は openpi のコードを通じて π0 のアーキテクチャをそのまま再現し、PaliGemma から学習を始めるため、Physical Intelligence 自身のモデルと直接比較できます。MolmoBot-SPOC はエッジデバイス向けの小さなトランスフォーマーポリシーで、将来シミュレーション内で強化学習を行うことも想定しています。Hugging Face には 九個のチェックポイントがあり、DROID Franka 向けと、RB-Y1 でのドア開けやマルチタスク作業向けがあります。

DROID ロボットでは、ポリシーは GPU PC 上のサーバーとして動き、ロボットとグリッパーは Polymetis の下で動きます。セットアップガイドがカメラ、設定、クライアントスクリプトを説明しています。デモノートブックではハードウェアなしでシミュレーションのシーンを作り、チェックポイントを読み込んでエピソードを実行できます。公開データから MolmoBot-DROID を再現する学習コマンドはリポジトリにあります。

論文では、各ポリシーを実機の DROID ロボットで 120 回ずつ実行しました。4 つの部屋でそれぞれ 10 個のピック・アンド・プレイスのタスクを 3 回ずつ、2 つの機関の 3 台のロボットで試しています。MolmoBot の成功率は 79.2% で、実データのデモで学習した π0.5-DROID は 39.2%、π0 のアーキテクチャでシミュレーションデータだけを使った MolmoBot-Pi0 は 46.7% でした。移動作業はまだ発展途上で、引いて開ける実際のドア三枚に対し、RB-Y1 がドアを開けられたのは 9 回中 2 回でした。これらは著者自身の結果です。プロジェクトページには実機 DROID 試行の録画があります。

重要な理由

openpi の π0.5 のようなオープンな VLA ポリシーは、10,000 時間を超える実機デモから学習しますが、そのデータは公開されておらず、外部の人が作り直すこともできません。MolmoBot はそれを、誰でもダウンロードでき、公開されたエンジンで作り直せるシミュレーションデータに置き換えました。著者のテストでは、実機のデモを一度も見ることなく、同じ DROID ハードウェア上で π0.5 を上回りました。DROID 型の Franka を持つ研究室にとっては、データを集めずに試せるポリシーと、新しいタスクやロボットを加えるための、シーン生成から学習までそろったレシピが手に入ることを意味します。これは Ai2 の行動推論型 VLA である MolmoAct2 と対になる存在です。MolmoAct2 は DROID のような実機デモでロボットごとにファインチューニングするための基盤チェックポイントを提供し、MolmoBot はシミュレーションだけから学び、そのまま動かすことを前提にしています。弱点は適用範囲で、タスクは剛体のピック・アンド・プレイスと開ける動作に限られ、DROID Franka や RB-Y1 以外のロボットには独自のシミュレーションデータと学習が必要です。

解決する課題

操作ポリシーの学習には通常、大量の実機デモが必要で、集めるのに時間も費用もかかり、ほとんどは公開されていません。MolmoBot は、十分に広くランダム化した手続き的なシミュレーションデータで、実機でゼロショットで動くポリシーを学習できることを示し、他の人が結果を再現・拡張できるようにデータ、ジェネレーター、学習コードを公開しています。

主なポイント

  • シミュレーションデータだけで学習し、実データでのファインチューニングなしに実機で動く操作ポリシー
  • MolmoBot-DROID は手首カメラ一台と自由に置ける外部カメラ一台で DROID Franka 上で動作
  • MolmoBot-Data で学習:94,000 軒を超える家での 1.7百万件のシミュレーションのエキスパート軌道
  • 三種類のポリシー:Molmo2 ベースの VLA、π0 の再現版、エッジデバイス向けの小さなトランスフォーマー
  • コード、ほとんどのチェックポイント、データ生成エンジンはオープン。データセットは ODC-BY
  • 著者のテストで、実機のピック・アンド・プレイス成功率 79.2%(π0.5-DROID は 39.2%)

対象

  • データを集めずにピック・アンド・プレイスのポリシーを使いたい、DROID 型 Franka を持つ研究室
  • sim-to-real 転移と合成学習データを研究するロボット学習の研究者
  • 新しいロボットやタスク向けにシミュレーションデータのパイプラインを作るチーム
  • 移動マニピュレーションに取り組む Rainbow Robotics RB-Y1 のユーザー

制限事項

  • 公開チェックポイントが動くのは DROID 型 Franka(Robotiq 2F-85 グリッパー、ZED Mini 手首カメラと ZED 2 外部カメラ、Polymetis)か Rainbow Robotics RB-Y1 だけで、他のロボットには新しいシミュレーションデータと学習が必要
  • タスクは剛体の把持、ピック・アンド・プレイス、関節のある物体を開ける動作に限られ、挿入、変形する物体、流体は今のところ対象外と著者は述べている
  • 移動マニピュレーションはまだ初期段階で、引いて開ける実際のドアを RB-Y1 が開けられたのは 9 回中 2 回
  • MolmoBot-Pi0-DROID は Gemma ライセンスで、MolmoBot-SPOC の三個のチェックポイントは other とだけ記載されライセンスファイルもないため、すべてのチェックポイントが Apache-2.0 ではない
  • MolmoBot-Data は約 10 TB あり、非商用ライセンスの Objaverse の物体を含む。商用利用できるエピソードの一覧が付属する
  • 学習にはマルチ GPU クラスターが必要で、README では MolmoBot-DROID に 8〜64 基、MolmoBot-Pi0-DROID に 32 基の H100 GPU を使ったとされ、MolmoBot-DROID のチェックポイントは約 20 GB
  • 結果はすべて著者自身のもので、著者のロボットと独自のシミュレーションベンチマークで得られたもの

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。