Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

What Are We Actually Benchmarking in Robot Manipulation?

著者: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

ライセンス

  • オープンアクセス
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。

重要な理由

ベンチマークのスコアは一つの固定された設定の下での成功を測るものだが、汎用的なマニピュレーション能力の証拠として日常的に読まれている。この監査では、LIBEROとCALVINがいくつかの診断に失敗することがわかった。LIBEROでは言語エンコーダを持たない0.09Bのプローブが報告されている最先端水準と同等かそれに近いスコアを出し、CALVINでは学習範囲内でブロックの姿勢をランダム化すると、テストしたすべてのポリシーの性能が低下する。

提案手法

著者らは4つの失敗モード（ショートカットによる可解性、統計的有意性の欠如、徐々に進む過学習、データソースへの依存）を挙げ、それぞれに1つの診断を提案して5つのベンチマークに適用し、著者と査読者向けに参照実装とともに診断を公開している。

概要

ロボティクスのベンチマークスコアは、ある固定された評価設定のもとでの成功を測るものだが、日常的に汎用的なマニピュレーション能力の証拠として扱われている。我々は四つの失敗モードを特定する。いずれも、その能力の妥当な代理指標としてのベンチマークの役割を弱めるか無効にする。すなわち、近道による解決可能性、統計的有意性の欠如、忍び寄る過学習、データソースへの依存である。失敗モードごとに一つの診断を提案し、これらの診断で LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0 を監査する。LIBERO と CALVIN は複数の診断で不合格となる。RoboCasa と RoboTwin 2.0 は、最近の進歩の主張に登場する頻度がはるかに低いにもかかわらず、不合格となる診断が少ない。LIBERO では、言語エンコーダを持たない 0.09B のプローブが報告済みの SOTA かそれに近いスコアを出し、報告された改善の大半は統計的に有意だと証明できない。CALVIN では、訓練範囲内でブロックの姿勢をランダム化すると、テストしたすべてのポリシーで性能が下がる。我々は四つの診断を参照実装とともに公開し、著者や査読者がベンチマークスコアを進歩の証拠として扱う前に適用できるようにする。コードと成果物は https://ripl.github.io/manipulation_benchmark_audit/ で入手できる。

リンク

  • arXiv 2606.04233: https://arxiv.org/abs/2606.04233
  • PDF: https://arxiv.org/pdf/2606.04233
  • コード: https://github.com/ripl/ManipulationBenchmarkAudit
  • プロジェクトページ: https://ripl.github.io/manipulation_benchmark_audit/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。