Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Runway Praxis-1

映像とロボットの行動を同時に予測する Runway のオープンウェイト世界行動モデル

ライセンス

Apache 2.0

コード:Apache-2.0。runwayml/praxis-1-oss の LICENSE ファイルで確認。重み:Runway のコレクションにある八つのモデルカードすべて(ベース、DROID、YAM、二つの NVFP4 版、三つの LeRobot 版)が Apache-2.0 で、アクセス制限はありません。Runway の発表では商用利用も含まれるとしています。評価セット:praxis-1-eval のデータセットカードで Apache-2.0。凍結された依存関係:Wan2.2 VAE と Qwen3.5-2B テキストエンコーダーは Runway のリポジトリには含まれず、どちらもそれぞれの Hugging Face カードで Apache-2.0 です。シミュレーション用アセット:初回実行時に MuJoCo Menagerie からそれぞれのライセンスでダウンロードされます。Franka アームは Apache-2.0、Robotiq 2F-85 グリッパーは BSD-2-Clause、YAM アームは MIT です。2026-11-12 に LICENSE ファイルと Hugging Face のカードで確認。

概要

Runway Praxis-1 は、AI 映像企業 Runway によるロボットアーム向けのオープンウェイト世界行動モデルで、2026 年 11 月 11 日に Apache-2.0 で一般公開されました。Runway 自身の映像基盤モデルの上に構築されており、呼び出しごとにカメラ映像の次の 1.6 秒を予測し、同時にその映像を生み出すロボットの行動を出力します。パラメータは合計 27.2B で、トークンあたり約 2.8B が有効になる mixture-of-experts の映像バックボーンと、小さな行動エキスパートからなります。公開されたチェックポイントは三つです:新しいロボット向けにファインチューニングするためのベースモデル、DROID 構成の Franka アーム向け単腕ポリシー、YAM アーム向け双腕ポリシーで、二つのポリシーには新しい NVIDIA GPU 向けの NVFP4 版もあります。Runway は推論、サービング、シミュレーション、ファインチューニング(LoRA を含む)のコードを公開しており、モデルは LeRobot のポリシーとしても動き、NeMo Automodel にもファインチューニングのレシピがあります。

Runway は 2026 年 9 月に Praxis-1 を発表し、2026 年 11 月 11 日に一般公開しました。コードは GitHub、重みは Hugging Face のコレクション、技術レポートは同社の研究サイトにあります。

Praxis-1 は Runway が世界行動モデルと呼ぶもので、ロボットの行動も出力する映像の世界モデルです。呼び出しごとに、テキストのタスク、ロボットのカメラの最新フレーム、アームの姿勢を読み取ります。映像バックボーンが次の映像チャンクを予測し、小さな行動エキスパートがバックボーンの内部特徴を読んで、その映像を生む動きを求めます。各呼び出しは 15 Hz で 24 行の行動、つまり 1.6 秒分の動きを、予測映像とともに返します。ロボットはそのチャンクを実行して再び呼び出します。

バックボーンは 26.9B パラメータの拡散トランスフォーマーで、ほとんどの層が mixture-of-experts のため、トークンあたり有効なのは約 2.8B です。行動エキスパートが約 0.3B を加えます。画像は凍結した Wan2.2 VAE、指示は凍結した Qwen3.5-2B テキストエンコーダーを通り、どちらも別途ダウンロードします。

Runway は四段階で学習させました。まず汎用の映像モデル、次に身体性のある映像(人の一人称映像 58%、一般映像 20%、実機ロボット映像 18%、少量のゲーム映像)、続いて映像と行動を一緒に、最後にロボットを一台ずつです。

公開されたチェックポイントは次のとおりです。

- praxis-1-base:ロボット固有の行動ヘッドを持たない中間学習済みモデルで、新しいロボットの出発点です。 - praxis-1-droid:外部カメラと手首カメラを備えた Franka アーム向けの単腕ポリシーで、約 277 時間の DROID データでファインチューニングされています。 - praxis-1-yam:上方カメラ一台と手首カメラ二台を備えた YAM アーム向けの双腕ポリシーです。 - praxis-1-droid-nvfp4 と praxis-1-yam-nvfp4:二つのポリシーを NVFP4 の 4 ビットエキスパート向けに量子化を考慮して学習させた版です。

各チェックポイントは bfloat16 で 54.4 GB あり、H100 のような 80 GB の GPU 一枚で動作し、一回の呼び出しは約 0.55〜0.6 秒です。NVFP4 ではポリシーが 17.5 GB に縮み、Blackwell GPU、RTX 5090 クラスのカード、Jetson Thor で動きます。H100 では NVFP4 は使えません。

リポジトリには、ポリシーサーバー、評価スイート付きの DROID と YAM 構成の MuJoCo シミュレーション、二つのファインチューニングのレシピがあります。8 GPU のノード一台で新しいロボット向けにベースを完全にファインチューニングするものと、80 GB の GPU 一枚で新しいタスク向けに praxis-1-droid に LoRA をかけるものです。LeRobot は 2026 年 11 月 11 日に Praxis-1 を praxis ポリシーとして追加し(LeRobot のガイド)、三つのチェックポイントすべてを自身の形式に変換しました。NVIDIA の NeMo Automodel にも LIBERO のチュートリアル付きのファインチューニングのレシピがあります。

Runway によると、DROID ポリシーは NVIDIA の RoboLab-120 リーダーボードで 46.2% の成功率を記録し、公開時点でそこに載る世界行動モデルの首位でした。学習データに含まれていなかった Google の RT-1 ロボットでファインチューニングすると、SimplerEnv で 80.0% に達し、元の RT-1 ポリシーの 52.4% を上回りました。Runway はコミュニティの SO-101 データでファインチューニングした例も示していますが、そのチェックポイントはまだ公開されていません。

重要な理由

VLA モデルをはじめ、オープンなロボットポリシーの多くは、少なく収録コストも高いロボットのデモンストレーションから行動を学びます。Praxis-1 は主に日常の映像と一人称映像で学習した映像モデルから出発しており、Runway の結果は、この先行優位が Google の RT-1 ロボットのように見たことのないロボットにも及ぶことを示唆しています。Cosmos Predict 2.5 を土台にした NVIDIA の Cosmos Policy と同じく、ロボットポリシーとして動くオープンな世界モデルであり、重みは商用利用を認める Apache-2.0 です。Franka DROID 構成、YAM アームの一組、または LeRobot のデータを持つ読者なら初日から使えます。チェックポイントをダウンロードし、シミュレーションで動かし、DROID 構成なら GPU 一枚の LoRA で新しいタスクに適応させられます。

解決する課題

汎化するロボットポリシーを学習させるには大量のロボットのデモンストレーションデータが必要で、テレオペレーションで集めるのは遅く高価です。Praxis-1 は学習の大半を映像に移します。一般映像と一人称映像で事前学習したモデルは物体や手の動き方をすでに知っているため、ロボットは自分のデータで軽くファインチューニングするだけで済みます。Runway は、重み、それを実機ロボットやシミュレーションで動かすコード、新しいアーム、カメラ構成、タスクに適応させるレシピを公開しています。

主なポイント

  • 映像とロボットの行動を同時に予測する 27.2B パラメータの世界行動モデル
  • Runway の映像基盤モデルの上に構築され、主に人の映像と一般映像で学習
  • 公開チェックポイント:ベース、単腕 DROID Franka、双腕 YAM、NVFP4 版
  • 80 GB の GPU 一枚で動作し、NVFP4 ならポリシーは 17.5 GB で Blackwell や Jetson Thor 向け
  • ネイティブのコード、LeRobot、NeMo Automodel にファインチューニングのレシピがあり、GPU 一枚の LoRA も可能
  • コードと重みは Apache-2.0 で、商用利用も可能

対象

  • 世界行動モデルと VLA ポリシーを比較するロボット学習の研究者
  • Franka DROID 構成や双腕の YAM アームを持ち、すぐ使えるポリシーが欲しいチーム
  • 大規模な事前学習済みポリシーを LoRA や完全なファインチューニングで自分のアームに適応させる開発者
  • 使い慣れたツールの中で世界行動モデルを使いたい LeRobot と NeMo のユーザー

制限事項

  • bfloat16 のチェックポイントには 80 GB のメモリを持つ GPU が一枚必要で、ネイティブのベースの完全なファインチューニングは 80 GB の GPU を 8 枚使い、LeRobot は少なくとも 4 枚を求めます
  • NVFP4 は行動を変えます:Runway は RoboLab-120 では同程度の成功率を測りましたが、以前のチェックポイントでは難しいシミュレーションスイートで成功率が下がり、RTX 5090 クラスの GPU ではまだ閉ループで動かしていません
  • ベースのチェックポイントには行動ヘッドがなく、ファインチューニングするまでロボットでは動きません
  • Runway は自ら失敗例を挙げています:よく似た物体に手を伸ばすこと、曖昧な指示、一つのプロンプトで与えた長いタスク
  • サンプリング設定は DROID の Franka に合わせて調整されており、他のロボットには個別の設定が必要です
  • ベンチマークと実機の結果はすべて Runway 自身の測定で、公開当日に発表されたものです
  • LeRobot との統合は新しく、LeRobot 0.7.0 のリリース後、2026 年 11 月 11 日に追加されました
  • Wan2.2 VAE と Qwen3.5-2B テキストエンコーダーは別途ダウンロードで、それぞれ Apache-2.0 です

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。