RoboDojo
Isaac Sim でも実機アームでも走る操作ベンチマーク
ライセンス
MIT
概要
RoboDojo は汎用操作方策のためのベンチマークで、シミュレーションと実機を一つの場所で扱います。五つの能力次元にまたがる 42 の Isaac Sim タスクと、Piper X・Piper・ARX X5 のアーム上での 18 の実世界タスクです。使えるものにしている部分は XPolicyLab で、40 を超える方策を単一のインタフェースの背後に統合するため、同じ方策定義がシミュレーションでも実機でも走ります。レイアウトは再現性のために乱数種で制御され、summarize コマンド一つで各実行がリーダーボードの表に集約されます。
本カタログにはすでに LIBERO、RLBench、Meta-World、CALVIN、SimplerEnv が載っており、そのいずれもシミュレータで止まります。RoboDojo の差別化された主張は、実機側が後付けではないという点です。三つの実機アームプラットフォーム上の 18 タスクが、42 のシミュレーションタスクと並び、同じ方策インタフェースの下に置かれています。ある方策のシミュレーション上の点数が実機の点数を予測するかどうかは、この分野が最も答えを必要としながら最も測られていない問いであり、それを正面から問うために建てられたベンチマークには価値があります。
実務的には、リポジトリはシミュレータの基盤と各マネージャ、シミュレータ・シーン・ロボット・カメラの環境設定、タスクロジックと YAML のタスク設定、そして方策サーバ兼統合層としての XPolicyLab を分けて配置しています。アセット——ロボット、物体、素材、レイアウト——は同梱ではなくダウンロードされます。ドキュメントサイトは正典の参照として扱われ、インストール、クイック評価、新しい方策を XPolicyLab に組み込む方法、シミュレーションと実機のタスク一覧、設定、トラブルシューティングを網羅しており、多くのベンチマークより導入経路に手が入っています。
重要な理由
シミュレーションの操作ベンチマークは飽和しやすく信じにくいものになりました。LIBERO 上の数字は、ある方策が作業台の上で機能するかどうかについてほとんど語りません。RoboDojo は両方の半分を一つのインタフェースの下に置き、比較を実際に成立させます。しかも 40 を超える方策がすでに統合済みであり、それが「今週から使えるベンチマーク」と「まず自分の仕事を移植しなければならないベンチマーク」の差です。
解決する課題
操作の結果はシミュレーションで報告され実機で展開されますが、両者が別々のツールで測られるため、前者が後者をどれだけ予測するのか誰にも言えません。RoboDojo は両者を一つの方策インタフェースの背後に置き、同じものを両方の場所で走らせられるようにします。
主なポイント
- 五つの能力次元にまたがる 42 の Isaac Sim タスクに加え、Piper X・Piper・ARX X5 のアーム上での 18 の実世界タスク
- XPolicyLab が 40 以上の方策を一つのインタフェースの背後に統合するので、同じ定義がシミュレーションでも実機でも走る
- 乱数種で制御されたレイアウトと単一の summarize 手順が、各実行をリーダーボードの表に集約する
- シミュレーションと実機は、シミュレータに実機デモを付け足したものではなく、一つのベンチマークの二つの半分として設計されている
- アセットは同梱ではなくダウンロードされるため、リポジトリ自体は軽く保たれる
- ドキュメントサイトが正典の参照であり、既存方策の実行だけでなく新規方策の統合も扱う
対象
- 汎用操作の結果を報告し、シミュレーションの数字の隣に実機の数字も欲しいグループ
- VLA 方策を比較していて、論文ごとに独自のハーネスが付いてくることにうんざりしている人
- Piper、Piper X、ARX X5 のアームを持ち、評価したい方策がある人
- 新しい方策を統合し、多数のタスクで一度に走らせたい研究者
制限事項
- 実機側は特定のハードウェア——Piper X、Piper、ARX X5——を必要とするため、多くの読者はシミュレーションの 42 しか走らせられない
- Isaac Sim は独自の GPU 要件を伴う重い依存であり、ドキュメントに GPU メモリのトラブルシューティングのページがあるのには理由がある
- アセットは別途ダウンロードが必要で、ベンチマークは自己完結していない
- 背後の論文（arXiv 2607.04434）は発表場所のないプレプリントであり、ベンチマークの設計は査読を経ていない
- リーダーボードは参加があってこそのものであり、この年齢では未証明である
- XPolicyLab が 40 以上の方策を統合していることは保守負担であり、プロジェクトの勢いが落ちれば表面化する