Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Inspect Robots

ベンチマークを一度定義すれば、任意の方策を任意のロボットで走らせられる

ライセンス

MIT

概要

Inspect Robots はフィジカル AI のためのオープンな評価フレームワークです。ロボティクスのベンチマークを一度定義すれば、任意の方策を任意の互換な身体に対して走らせられます——LLM エージェントでも VLA でも、実機アームでもヒューマノイドでもシミュレータでも。各実行は監査可能なログを残し、採点者のスコア、LLM の完全な対話記録、設定一式が含まれます。さらに Rerun による一級の可視化があるため、実行は表に落とし込むだけでなく「見る」ことができます。プロジェクトは自らを「ロボティクスにおける Inspect AI」と呼びますが、この喩えは的確です。価値は個々のタスクではなく、ハーネスと記録の取り方そのものにあります。

効いている構造は、ベンチマークと方策とリグの分離です。ベンチマークの定義は誰がそれを走らせるかを知らず、方策は自分が何の上で動くかを知らず、リグのプラグインが身体を供給します。これが「任意の方策を任意の身体に対して」を標語以上のものにしています——たとえば inspect-robots-yam を入れると molmoact2 方策と yam_arms リグが同時に入り、同じベンチマークがそのまま走ります。SO-100 と SO-101 のアームは LeRobot のキャリブレーションを再利用する形で一級サポートされており、これが「趣味の人が使えるフレームワーク」と「研究室があることを前提にしたフレームワーク」の差です。

これだけ若いプロジェクトとしては、工学的な水準が異例なほど目に見えます。CI、mypy strict、テストと公開 docstring のカバレッジ 100% を謳うバッジ、Python 3.10 から 3.13 まで、そして docs.inspectrobots.org のドキュメントサイト。uv でも pip でも導入でき、rerun という extra がライブビューアを引き込みます。成熟度についても著者らは同じくらい率直で、README にはアルファのバッジがあり、リリース間で API が変わりうるためバージョンを固定するよう求めています。

これは公表された結果の背後にあるハーネスでもあります。Robocurve はこれを使って GPT-6 Astra と Claude Fable 5.1 を同じ YAM アームで走らせ、120 試行すべてを公開しました。ログが本当に監査可能であることの、現時点で最良の実証です。

重要な理由

モデルがロボットを制御するという主張は、たいてい反証不可能です。デモ映像があるだけで、ハーネスも試行数もなく、再実行する術もありません。共有された評価ツールこそが、言語モデルについての主張を議論可能なものに変えたのであり、ロボティクスにはその対応物がありませんでした。これは信頼に足る試みであり、何より導入が安上がりです——机に SO-101 を置いている読者がこれを入れ、研究室が走らせたのと同じベンチマークを走らせられる。評価フレームワークが広まるかどうかを決めるのは、まさにこの性質です。

解決する課題

ある方策が物理タスクで実際どれほど良いのかを問う共有の方法が存在せず、あらゆる主張がそれぞれの条件で現れ、どれも比較できません。Inspect Robots はハーネスと採点と監査記録を供給し、それらをロボットから独立に保つので、同じ問いを異なるハードウェアに向けられます。

主なポイント

  • ベンチマーク・方策・身体は別個の関心事なので、同じベンチマークが LLM エージェントにも VLA にも、実機アームにもヒューマノイドにもシミュレータにも走る
  • 各実行は監査可能なログを出す：採点者のスコア、LLM の完全な対話記録、設定一式
  • Rerun の一級可視化により、実行は採点されるだけでなく観ることができる
  • SO-100 と SO-101 の一級サポートは LeRobot のキャリブレーションを再利用するので、安価なアームは後付けではなく正式な対象である
  • リグのプラグインは方策と身体を束ねる——inspect-robots-yam は molmoact2 方策と yam_arms リグを供給する
  • CI、mypy strict、テストと docstring のカバレッジ 100% を謳うバッジ、Python 3.10〜3.13 対応
  • Robocurve が公表した GPT-6 Astra 評価の背後にあるハーネスであり、その評価では 120 試行すべてが軌跡つきで公開された

対象

  • 実機ロボットで LLM エージェントや VLA を評価し、その結果を検証可能にしたい人
  • すでに持っているハードウェアで方策をベンチマークしたい SO-100・SO-101 の所有者
  • 操作系の結果の報告のしかたを揃えたい研究グループ
  • 公表されたロボット評価を再現あるいは反証しようとする人

制限事項

  • 明示的にアルファ：README はリリース間で API が変わりうると述べ、依存する前にバージョンを固定するよう求めている
  • 対応リグの集合は小さい——文書化されているのは YAM アームと SO-100/101 だけなので、それ以外の身体はプラグインを書くことを意味する
  • カバレッジと型検査のバッジはプロジェクト自身の CI による自己申告であり、独立監査ではない
  • 公表された利用例では採点は人間が基準表に沿って行った。つまりこのフレームワークが標準化するのは記録の取り方であって、採点から人間を取り除くことではない
  • これを使って評価を公表するのと同じ集団が構築・保守しており、効率的ではあるがツールと結果は互いに独立ではない
  • 若い：リポジトリは 2026 年 6 月下旬から

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。