What Are We Actually Benchmarking in Robot Manipulation?
作者: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026
授權條款
依 arXiv 的授權條款，以下內容僅依據摘要撰寫。
為何重要
基準分數衡量的是單一固定設定下的成功率，卻經常被解讀為通用操作能力的證據。這項稽核發現 LIBERO 與 CALVIN 未能通過多項診斷：在 LIBERO 上，一個沒有語言編碼器的 0.09B 探針模型得分達到或接近已報告的最先進水準；在 CALVIN 上，於訓練範圍內隨機化方塊姿態，會使每個受測策略的效能下降。
提出的方法
作者指出四種失效模式（捷徑可解性、缺乏統計顯著性、漸進式過擬合與資料來源依賴），為每一種提出一項診斷，將其套用於五個基準，並為作者與審查者釋出這些診斷及參考實作。
摘要
機器人基準測試分數衡量的是在單一固定評估設定下的成功率，卻經常被視為通用操作能力的證據。我們找出四種失效模式，每一種都會削弱或推翻基準測試作為該能力有效替代指標的角色：可用捷徑解題、缺乏統計顯著性、漸進式過度擬合，以及對資料來源的依賴。我們為每種失效模式提出一項診斷，並以這些診斷稽核 LIBERO、CALVIN、SimplerEnv、RoboCasa 與 RoboTwin 2.0。LIBERO 與 CALVIN 有多項診斷不及格。RoboCasa 與 RoboTwin 2.0 不及格的較少，儘管它們在近期的進展宣稱中出現的次數少得多。在 LIBERO 上，一個沒有語言編碼器的 0.09B 探針達到或接近已發表的 SOTA，且多數已發表的進步無法證明具有統計顯著性。在 CALVIN 上，於訓練範圍內隨機設定積木姿態，會讓每一個受測策略的表現下降。我們公開這四項診斷與參考實作，讓作者與審稿人在把基準測試分數當成進展證據之前先行套用。程式碼與相關成果請見 https://ripl.github.io/manipulation_benchmark_audit/。
連結
- arXiv 2606.04233: https://arxiv.org/abs/2606.04233
- PDF: https://arxiv.org/pdf/2606.04233
- 程式碼: https://github.com/ripl/ManipulationBenchmarkAudit
- 專案頁面: https://ripl.github.io/manipulation_benchmark_audit/