What Are We Actually Benchmarking in Robot Manipulation?

Autoren: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026

Lizenzen

• Open Access
• Paper: arXiv.org perpetual, non-exclusive license 1.0

Gemäß der Lizenz von arXiv beruht alles Folgende nur auf dem Abstract.

Warum es wichtig ist

Benchmark-Ergebnisse messen den Erfolg unter einem einzigen festen Aufbau, werden aber routinemäßig als Beleg für allgemeine Manipulationsfähigkeit gelesen. Das Audit stellt fest, dass LIBERO und CALVIN mehrere Diagnosen nicht bestehen: Auf LIBERO erreicht eine 0,09B-Probe ohne Sprach-Encoder Werte auf oder nahe dem berichteten Stand der Technik, und auf CALVIN senkt das Randomisieren der Blockposen innerhalb des Trainingsbereichs die Leistung jeder getesteten Policy.

Lösungsansatz

Die Autoren benennen vier Fehlermodi (Lösbarkeit über Abkürzungen, fehlende statistische Signifikanz, schleichendes Overfitting und Abhängigkeit von der Datenquelle), schlagen für jeden eine Diagnose vor, wenden sie auf fünf Benchmarks an und veröffentlichen die Diagnosen mit Referenzimplementierungen für Autoren und Gutachter.

Zusammenfassung

Ein Benchmark-Score in der Robotik misst den Erfolg unter einem festen Evaluationsaufbau, wird aber routinemäßig als Beleg für allgemeine Manipulationsfähigkeit behandelt. Wir identifizieren vier Fehlermodi, von denen jeder die Rolle eines Benchmarks als gültiger Stellvertreter für diese Fähigkeit schwächt oder entwertet: Lösbarkeit durch Abkürzungen, fehlende statistische Signifikanz, schleichende Überanpassung und Abhängigkeit von der Datenquelle. Wir schlagen je Fehlermodus eine Diagnose vor. Wir prüfen LIBERO, CALVIN, SimplerEnv, RoboCasa und RoboTwin 2.0 mit diesen Diagnosen. LIBERO und CALVIN fallen bei mehreren Diagnosen durch. RoboCasa und RoboTwin 2.0 fallen bei weniger durch, obwohl sie in aktuellen Fortschrittsbehauptungen weit seltener vorkommen. Auf LIBERO erreicht eine 0,09B-Probe ohne Sprach-Encoder den berichteten SOTA oder kommt ihm nahe, und die meisten berichteten Zugewinne sind nicht nachweislich statistisch signifikant. Auf CALVIN senkt das Randomisieren der Blockposen innerhalb des Trainingsbereichs die Leistung jeder getesteten Policy. Wir veröffentlichen die vier Diagnosen mit Referenzimplementierungen, damit Autorinnen, Autoren und Gutachtende sie anwenden können, bevor sie einen Benchmark-Score als Beleg für Fortschritt behandeln. Code und Artefakte sind verfügbar unter https://ripl.github.io/manipulation_benchmark_audit/.

Links

• arXiv 2606.04233: https://arxiv.org/abs/2606.04233
• PDF: https://arxiv.org/pdf/2606.04233
• Code: https://github.com/ripl/ManipulationBenchmarkAudit
• Projektseite: https://ripl.github.io/manipulation_benchmark_audit/