What Are We Actually Benchmarking in Robot Manipulation?

Auteurs: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

Licences

• Accès libre
• Article: arXiv.org perpetual, non-exclusive license 1.0

Selon la licence d'arXiv, tout ce qui suit est rédigé à partir du seul résumé.

Pourquoi c'est important

Les scores de benchmark mesurent la réussite dans une configuration fixe unique, mais sont couramment interprétés comme la preuve d'une capacité générale de manipulation. L'audit constate que LIBERO et CALVIN échouent à plusieurs diagnostics : sur LIBERO, une sonde de 0,09B sans encodeur de langage obtient un score égal ou proche de l'état de l'art rapporté, et sur CALVIN, randomiser les poses des blocs dans la plage d'entraînement dégrade les performances de toutes les politiques testées.

Solution proposée

Les auteurs identifient quatre modes de défaillance (résolubilité par raccourci, absence de significativité statistique, surapprentissage rampant et dépendance à la source des données), proposent un diagnostic pour chacun, les appliquent à cinq benchmarks et publient les diagnostics avec des implémentations de référence à l'intention des auteurs et des relecteurs.

Résumé

Un score de benchmark en robotique mesure la réussite dans une configuration d'évaluation fixe, mais il est couramment traité comme une preuve de capacité générale de manipulation. Nous identifions quatre modes d'échec, chacun affaiblissant ou invalidant le rôle d'un benchmark comme indicateur valide de cette capacité : la résolubilité par raccourci, l'absence de significativité statistique, le surapprentissage rampant et la dépendance à la source des données. Nous proposons un diagnostic par mode d'échec. Nous auditons LIBERO, CALVIN, SimplerEnv, RoboCasa et RoboTwin 2.0 avec ces diagnostics. LIBERO et CALVIN échouent à plusieurs diagnostics. RoboCasa et RoboTwin 2.0 échouent à moins de diagnostics, bien qu'ils apparaissent bien moins souvent dans les revendications de progrès récentes. Sur LIBERO, une sonde de 0,09B sans encodeur de langage atteint ou approche le SOTA rapporté, et la plupart des gains rapportés ne sont pas prouvés statistiquement significatifs. Sur CALVIN, randomiser les poses des blocs dans la plage d'entraînement fait baisser la performance de chaque politique testée. Nous publions les quatre diagnostics avec des implémentations de référence que les auteurs et les relecteurs peuvent appliquer avant de traiter un score de benchmark comme une preuve de progrès. Le code et les artefacts sont disponibles sur https://ripl.github.io/manipulation_benchmark_audit/.

Liens

• arXiv 2606.04233: https://arxiv.org/abs/2606.04233
• PDF: https://arxiv.org/pdf/2606.04233
• Code: https://github.com/ripl/ManipulationBenchmarkAudit
• Page du projet: https://ripl.github.io/manipulation_benchmark_audit/