Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

SenseNova-RoboRSI

言語モデルで動くロボットエージェントを実行・採点・改善するオープンなランタイム

ライセンス

  • code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
  • run logs dataset: MIT

ライセンスが分かれています。RoboRSIのコードとSenseNova-RoboRSI-27B-Previewの重みはApache-2.0、実行ログ（run logs）データセットはMITです。経験パッケージ（experience packages）データセットはコンポーネントごとのライセンスを宣言しています：GeoRTのロボットアセットから派生したDexJoCoの素材はCC BY-NC（非商用）、BEHAVIOR-1Kのパッケージはリポジトリにライセンスのないソースに由来し、Bench2Dexの再配布許可は保留中と記録されています。接続先のベンチマーク、シミュレーター、モデルはそれぞれ独自のライセンスに従い、GPT-6 Astraを使用するには有料のOpenAI APIアカウントが必要です。2026-10-27に確認。

概要

SenseNova-RoboRSI は、SenseNova が公開した、身体性エージェントを構築・評価・改善するためのオープンソースのランタイムです。ここでいうエージェントとは、カメラ画像を見てツールを通じてロボットを制御する言語モデルのことです。リポジトリは、モデルとそのプロンプト、スキル、ツールをロボットにつなぎ、ベンチマーク自身の環境の中でそのベンチマーク自身の採点方法で実行し、すべてのステップを記録します。このランタイムの上で、「再帰的自己改善」（RSI）が記録された実行とタスクのフィードバックを使い、エージェントのハーネス、つまり計画、フィードバック、記憶の扱いを改善します。モデルの重みは固定したままで、再テストで成績が上がった変更だけを残します。LIBERO とその派生版 LIBERO-PRO、LIBERO-Long++、LIBERO-Ultra-Long、RoboCasa365、BEHAVIOR-1K、Bench2Dex、DexJoCo のアダプターを備え、RoboDojo などの対応も予告されています。チームはさらに、同じハーネスで検証された実行をもとに学習した、パラメータ数 270 億のオープンウェイトの視覚言語モデル SenseNova-RoboRSI-27B-Preview も公開しました。コードとモデルの重みはいずれも Apache-2.0 です。プロジェクトはプレアルファと表示されており、SenseNova は GPT-6 Astra をロボット制御装置として用いた研究でこれを使用しました。

RoboRSIにおけるエージェントとは、画像とツール呼び出しを受け付けるOpenAI互換APIの背後にあるモデルと、プロンプト、コンテキスト、キャッシュ、予算の設定を組み合わせたものです。ランタイムはベンチマークからの観測をエージェントに渡し、エージェントが選んだもの、つまりスクリプト化されたアクション、エンドエフェクターツール、あるいは短いスキルを実行する視覚言語行動（VLA）ポリシーの呼び出しを実行します。LIBEROでは、エージェントがopenpiのπ0.5ポリシーを自動的にダウンロード・デプロイして低レベルの実行器として使えるため、言語モデルが計画と確認を行い、VLAがアームを動かします。各ベンチマークは本来の実行方法と採点方法を維持し、実行は完全なトレースとして記録され、学習用エピソードとしてエクスポートできます。

評価はコマンド1つで行えます。scripts/evaluation/evaluate_model.pyは1つ以上のベンチマークを受け取り、環境をダウンロードまたはビルドし、インコンテキスト学習（ICL）用の資料を準備したうえで、ライブの進捗表示、再開可能な実行ID、実行ごとのsummary.jsonとともにタスクとシードを実行します。ほとんどのベンチマーク向けのビルド済みDockerイメージがGHCRにあり、既存のベンチマークサービスにはローカルにインストールする代わりにHTTP経由でアクセスできます。ICL経験パッケージ（エージェントがテストエピソードの前に学習するメモと参考資料）はベンチマークごとにSenseNova-RoboRSI-Packagesデータセットで公開されており、公開された実行の元になったログはSenseNova-RoboRSI-Logで公開されています。

RSIループは、ハーネスそのものを学習の対象として扱います。実行トレースとタスクのフィードバックから、行動予測、計画、フィードバック、記憶の構成への変更が提案されます。各候補は同じタスク条件で再テストされ、エージェントのバージョンが追跡されるため、検証済みの改善が引き継がれます。RoboRSI-27B-Previewはこのループをモデルにまで広げます。検証済みのインタラクション経験が、目標の理解、行動の決定、フィードバックからの修正のための学習データとなり、更新されたモデルは再テストのために同じランタイムに戻されます。

チームの報告によると、GPT-6 Astraがハーネスを動かした場合、RoboDojo-Simで平均スコア60.08、成功率54.17%を達成し、GPT-6 Astra単体の28.97および22.48%を上回りました。またLIBERO-PROのTaskスイートとSwapスイートでは94.50%を記録しました。Qwen3.8-27Bをベースにした27Bモデルは、LIBERO-PROでVLA支援の実行により92.5%、直接制御により95.0%に達し、RoboCasa365での成功率をベースモデルの26.0%から46.5%に引き上げると同時に、平均出力トークン数を59.5Kから15.9Kに削減しました。実機でのデモンストレーションでは、ベースモデルが120分経っても成功しなかったブロックを箱に入れる作業を、13分で完了しています。

重要な理由

最先端の言語モデルは、ロボットを動かせるほどに十分な性能を持つようになり、その周りのハーネス、つまりモデルに何を見せ、どの行動を与え、失敗をどう返すかが結果の大部分を左右するようになっています。RoboRSI はこのハーネスをオープンで共有できるものにします。一つのランタイムでモデルを複数の確立された操作ベンチマークにそれぞれの採点方法でつなぎ、すべてを記録し、自らの実行からハーネスを改善します。経験パッケージ、実行ログ、オープンな 27B モデルも付属しているため、研究室は公開された数値を再現したり、同じ条件で自分のモデルを比較したり、有料 API の代わりにオープンウェイトのエージェントから始めたりできます。

解決する課題

言語モデルのエージェントをロボットのベンチマークで評価するには、通常、シミュレータごとに個別の統合を書く必要があります。観測形式、行動インターフェース、採点方法はそれぞれ異なり、得られた比較は再現しにくいものになります。その後のエージェントの改善もプロンプトの手作業です。RoboRSI は、本来の採点方法を保ったベンチマーク群に共通する一つのランタイムと設定形式を提供し、完全なトレースを記録して、それをテスト済みのハーネス改善に、27B モデルと組み合わせれば学習データにも変えます。

主なポイント

  • 一つのランタイムで、モデルとプロンプト、スキル、ツールを LIBERO とその派生版、RoboCasa365、BEHAVIOR-1K、Bench2Dex、DexJoCo につなぎ、それぞれ独自のルールで採点する
  • 再帰的自己改善は、モデルの重みを固定したまま記録された実行からハーネスを更新し、再テストで成績が上がった変更だけを残す
  • 言語モデルが計画と確認を担い、π0.5 などの VLA が短いスキルを実行できる。LIBERO のエージェントは π0.5 を自動でデプロイできる
  • GPT-6 Astra を使った場合、RoboDojo-Sim で平均スコア 60.08、成功率 54.17% と報告されており、モデル単体では 28.97 と 22.48%
  • SenseNova-RoboRSI-27B-Preview は Qwen3.8-27B をベースにしたオープンウェイトの 27B 視覚言語モデルで、Apache-2.0 で公開されている
  • 経験パッケージ、実行ログ、ビルド済み Docker イメージがコードと一緒に公開されている

対象

  • ロボット操作のベンチマークで言語モデルや VLM のエージェントを評価する研究者
  • 行動インターフェース、VLA 支援実行、コンテキストと記憶といったハーネス設計を比較するチーム
  • 有料 API ではなく、デプロイやファインチューニングができるオープンウェイトの身体性モデルを使いたい研究室
  • シミュレータをまたいだ共通のエージェントインターフェースを求めるベンチマークの管理者

制限事項

  • プレアルファと表示されている。リポジトリは公開から数週間で、技術報告はまだ出ておらず、RoboDojo の統合やその他いくつかのベンチマークは近日対応とされている
  • 主な結果はチーム自身によるもの。RoboDojo の数値は公式リーダーボードに提出中で変わる可能性があり、RoboCasa365 の比較は公式エントリーとは異なる評価設定を用いている
  • 最も良い結果は有料の最先端モデル GPT-6 Astra を使ったもの。オープンな 27B モデルの RoboDojo での成績ははるかに低い（平均スコア 26.13、成功率 20.83%）
  • ネイティブのベンチマークイメージは Linux 向けで、拡張版 LIBERO と RoboCasa365 には Docker 上の NVIDIA GPU が必要。27B モデルの提供には vLLM を動かす GPU サーバーが必要
  • 実機での利用はデモで示されているだけで、公開されたアダプターはシミュレーションのベンチマーク用
  • 経験パッケージはコンポーネントごとに条件が異なり、一部は非商用。接続する外部のシミュレータ、データセット、モデルはそれぞれのライセンスに従う

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。