What Are We Actually Benchmarking in Robot Manipulation?

Autores: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

Licenças

• Acesso aberto
• Artigo: arXiv.org perpetual, non-exclusive license 1.0

Conforme a licença do arXiv, tudo o que segue foi escrito apenas a partir do resumo.

Por que importa

As pontuações de benchmarks medem o sucesso sob uma única configuração fixa, mas são rotineiramente lidas como evidência de capacidade geral de manipulação. A auditoria constata que LIBERO e CALVIN falham em vários diagnósticos: no LIBERO, uma sonda de 0,09B sem codificador de linguagem atinge pontuação igual ou próxima ao estado da arte relatado, e no CALVIN, randomizar as poses dos blocos dentro da faixa de treinamento reduz o desempenho de todas as políticas testadas.

Solução proposta

Os autores identificam quatro modos de falha (solucionabilidade por atalhos, falta de significância estatística, overfitting gradual e dependência da fonte de dados), propõem um diagnóstico para cada um, aplicam-nos a cinco benchmarks e disponibilizam os diagnósticos com implementações de referência para autores e revisores.

Resumo

Uma pontuação de benchmark em robótica mede o sucesso em uma configuração de avaliação fixa, mas é tratada rotineiramente como evidência de capacidade geral de manipulação. Identificamos quatro modos de falha, cada um dos quais enfraquece ou invalida o papel de um benchmark como indicador válido dessa capacidade: solucionabilidade por atalhos, falta de significância estatística, sobreajuste gradual e dependência da fonte de dados. Propomos um diagnóstico por modo de falha. Auditamos LIBERO, CALVIN, SimplerEnv, RoboCasa e RoboTwin 2.0 com esses diagnósticos. LIBERO e CALVIN falham em vários diagnósticos. RoboCasa e RoboTwin 2.0 falham em menos, apesar de aparecerem muito menos nas alegações recentes de progresso. No LIBERO, uma sonda de 0,09B sem encoder de linguagem pontua no SOTA reportado ou perto dele, e a maioria dos ganhos reportados não é comprovadamente significativa do ponto de vista estatístico. No CALVIN, randomizar as poses dos blocos dentro da faixa de treinamento reduz o desempenho de todas as políticas testadas. Publicamos os quatro diagnósticos com implementações de referência para que autores e revisores os apliquem antes de tratar uma pontuação de benchmark como evidência de progresso. O código e os artefatos estão disponíveis em https://ripl.github.io/manipulation_benchmark_audit/.

Links

• arXiv 2606.04233: https://arxiv.org/abs/2606.04233
• PDF: https://arxiv.org/pdf/2606.04233
• Código: https://github.com/ripl/ManipulationBenchmarkAudit
• Página do projeto: https://ripl.github.io/manipulation_benchmark_audit/