What Are We Actually Benchmarking in Robot Manipulation?

Autores: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

Licencias

• Acceso abierto
• Artículo: arXiv.org perpetual, non-exclusive license 1.0

Según la licencia de arXiv, todo lo que sigue está escrito solo a partir del resumen.

Por qué importa

Las puntuaciones de los benchmarks miden el éxito bajo una única configuración fija, pero se leen de forma habitual como prueba de una capacidad general de manipulación. La auditoría constata que LIBERO y CALVIN fallan varios diagnósticos: en LIBERO, una sonda de 0,09B sin codificador de lenguaje obtiene puntuaciones iguales o cercanas al estado del arte reportado, y en CALVIN, aleatorizar las poses de los bloques dentro del rango de entrenamiento reduce el rendimiento de todas las políticas evaluadas.

Solución propuesta

Los autores identifican cuatro modos de fallo (resolubilidad por atajos, falta de significación estadística, sobreajuste progresivo y dependencia de la fuente de datos), proponen un diagnóstico para cada uno, los aplican a cinco benchmarks y publican los diagnósticos con implementaciones de referencia para autores y revisores.

Resumen

Una puntuación de benchmark en robótica mide el éxito bajo una configuración de evaluación fija, pero se trata de forma rutinaria como prueba de capacidad general de manipulación. Identificamos cuatro modos de fallo, cada uno de los cuales debilita o invalida el papel de un benchmark como indicador válido de esa capacidad: resolubilidad por atajos, falta de significancia estadística, sobreajuste progresivo y dependencia de la fuente de datos. Proponemos un diagnóstico por cada modo de fallo. Auditamos LIBERO, CALVIN, SimplerEnv, RoboCasa y RoboTwin 2.0 con estos diagnósticos. LIBERO y CALVIN fallan varios diagnósticos. RoboCasa y RoboTwin 2.0 fallan menos, aunque aparecen mucho menos en las afirmaciones recientes de progreso. En LIBERO, una sonda de 0,09B sin codificador de lenguaje alcanza o casi alcanza el SOTA reportado, y la mayoría de las mejoras reportadas no son demostrablemente significativas desde el punto de vista estadístico. En CALVIN, aleatorizar las poses de los bloques dentro del rango de entrenamiento reduce el rendimiento de todas las políticas probadas. Publicamos los cuatro diagnósticos con implementaciones de referencia para que autores y revisores los apliquen antes de tratar una puntuación de benchmark como prueba de progreso. El código y los artefactos están disponibles en https://ripl.github.io/manipulation_benchmark_audit/.

Enlaces

• arXiv 2606.04233: https://arxiv.org/abs/2606.04233
• PDF: https://arxiv.org/pdf/2606.04233
• Código: https://github.com/ripl/ManipulationBenchmarkAudit
• Página del proyecto: https://ripl.github.io/manipulation_benchmark_audit/