What Are We Actually Benchmarking in Robot Manipulation?

Autori: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

Licenze

• Open access
• Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

I punteggi dei benchmark misurano il successo in un'unica configurazione fissa, ma vengono abitualmente letti come prova di una capacità generale di manipolazione. L'audit rileva che LIBERO e CALVIN non superano diverse diagnostiche: su LIBERO una sonda da 0,09B senza encoder linguistico ottiene punteggi pari o vicini allo stato dell'arte riportato, e su CALVIN la randomizzazione delle pose dei blocchi entro l'intervallo di addestramento riduce le prestazioni di ogni policy testata.

Soluzione proposta

Gli autori individuano quattro modalità di fallimento (risolvibilità tramite scorciatoie, mancanza di significatività statistica, overfitting strisciante e dipendenza dalla fonte dei dati), propongono una diagnostica per ciascuna, le applicano a cinque benchmark e rilasciano le diagnostiche con implementazioni di riferimento per autori e revisori.

Abstract

Un punteggio di benchmark in robotica misura il successo in una configurazione di valutazione fissa, eppure viene trattato di routine come prova di una capacità generale di manipolazione. Individuiamo quattro modi di fallimento, ognuno dei quali indebolisce o invalida il ruolo di un benchmark come indicatore valido di quella capacità: risolvibilità tramite scorciatoie, mancanza di significatività statistica, overfitting strisciante e dipendenza dalla fonte dei dati. Proponiamo una diagnosi per ogni modo di fallimento. Esaminiamo LIBERO, CALVIN, SimplerEnv, RoboCasa e RoboTwin 2.0 con queste diagnosi. LIBERO e CALVIN falliscono più diagnosi. RoboCasa e RoboTwin 2.0 ne falliscono meno, pur comparendo molto meno spesso nelle recenti affermazioni di progresso. Su LIBERO, una sonda da 0,09B senza encoder linguistico raggiunge o sfiora il SOTA riportato, e la maggior parte dei guadagni riportati non è dimostrabilmente significativa dal punto di vista statistico. Su CALVIN, rendere casuali le pose dei blocchi entro l'intervallo di addestramento abbassa le prestazioni di ogni policy testata. Rilasciamo le quattro diagnosi con implementazioni di riferimento, perché autori e revisori le applichino prima di trattare un punteggio di benchmark come prova di progresso. Codice e artefatti sono disponibili su https://ripl.github.io/manipulation_benchmark_audit/.

Link

• arXiv 2606.04233: https://arxiv.org/abs/2606.04233
• PDF: https://arxiv.org/pdf/2606.04233
• Codice: https://github.com/ripl/ManipulationBenchmarkAudit
• Pagina del progetto: https://ripl.github.io/manipulation_benchmark_audit/