What Are We Actually Benchmarking in Robot Manipulation?
作者: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026
许可协议
根据 arXiv 的许可协议，以下内容仅依据摘要撰写。
为何重要
基准分数衡量的是在某一固定设置下的成功率，却常被当作通用操作能力的证据。该审查发现 LIBERO 和 CALVIN 未能通过多项诊断：在 LIBERO 上，一个不含语言编码器的 0.09B 探针模型得分达到或接近已报告的最先进水平；在 CALVIN 上，在训练范围内随机化方块位姿会降低所有受测策略的性能。
提出的方法
作者归纳出四种失效模式（捷径可解性、缺乏统计显著性、渐进式过拟合和数据来源依赖），为每种模式提出一项诊断，将其应用于五个基准，并为作者和审稿人发布这些诊断及其参考实现。
摘要
机器人基准分数衡量的是在一种固定评估设置下的成功率，却常常被当作通用操作能力的证据。我们找出四种失效模式，每一种都会削弱或否定基准作为该能力有效代理指标的作用：捷径可解性、缺乏统计显著性、渐进式过拟合，以及对数据来源的依赖。我们为每种失效模式提出一项诊断。我们用这些诊断审计了 LIBERO、CALVIN、SimplerEnv、RoboCasa 和 RoboTwin 2.0。LIBERO 和 CALVIN 未通过多项诊断。RoboCasa 和 RoboTwin 2.0 未通过的较少，尽管它们在近期的进展声明中出现得少得多。在 LIBERO 上，一个没有语言编码器的 0.09B 探针达到或接近已报告的 SOTA，而大多数已报告的提升无法证明具有统计显著性。在 CALVIN 上，在训练范围内随机化积木位姿，会降低每一个受测策略的表现。我们发布这四项诊断及其参考实现，供作者和审稿人在把基准分数当作进展证据之前使用。代码和相关材料见 https://ripl.github.io/manipulation_benchmark_audit/。
链接
- arXiv 2606.04233: https://arxiv.org/abs/2606.04233
- PDF: https://arxiv.org/pdf/2606.04233
- 代码: https://github.com/ripl/ManipulationBenchmarkAudit
- 项目主页: https://ripl.github.io/manipulation_benchmark_audit/