What Are We Actually Benchmarking in Robot Manipulation?
저자: Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter · CoRL 2026
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
중요한 이유
벤치마크 점수는 하나의 고정된 설정에서의 성공을 측정하지만, 일반적인 조작 능력의 증거로 흔히 해석된다. 이 감사에서는 LIBERO와 CALVIN이 여러 진단을 통과하지 못한다는 사실을 발견했다. LIBERO에서는 언어 인코더가 없는 0.09B 프로브가 보고된 최고 수준과 같거나 그에 근접한 점수를 기록했고, CALVIN에서는 학습 범위 안에서 블록 자세를 무작위화하면 시험한 모든 정책의 성능이 떨어진다.
제안 방법
저자들은 네 가지 실패 유형(지름길 해결 가능성, 통계적 유의성 부족, 점진적 과적합, 데이터 출처 의존성)을 제시하고, 각각에 대해 하나의 진단을 제안하여 다섯 개 벤치마크에 적용했으며, 저자와 심사자를 위해 참조 구현과 함께 진단을 공개한다.
초록
로보틱스 벤치마크 점수는 하나의 고정된 평가 설정에서의 성공을 측정하지만, 일상적으로 일반적인 매니퓰레이션 능력의 증거로 취급됩니다. 우리는 벤치마크가 그 능력의 타당한 대리 지표 역할을 하지 못하게 약화하거나 무력화하는 네 가지 실패 모드를 찾았습니다. 지름길로 풀 수 있음, 통계적 유의성 부족, 서서히 진행되는 과적합, 데이터 출처 의존성입니다. 실패 모드마다 하나의 진단을 제안하고, 이 진단으로 LIBERO, CALVIN, SimplerEnv, RoboCasa, RoboTwin 2.0을 감사합니다. LIBERO와 CALVIN은 여러 진단에서 탈락합니다. RoboCasa와 RoboTwin 2.0은 최근의 진전 주장에 훨씬 덜 등장하는데도 탈락하는 진단이 더 적습니다. LIBERO에서는 언어 인코더가 없는 0.09B 프로브가 보고된 SOTA에 도달하거나 근접하며, 보고된 향상의 대부분은 통계적으로 유의하다고 증명할 수 없습니다. CALVIN에서는 학습 범위 안에서 블록 자세를 무작위화하면 테스트한 모든 정책의 성능이 떨어집니다. 우리는 저자와 리뷰어가 벤치마크 점수를 진전의 증거로 받아들이기 전에 적용할 수 있도록 네 가지 진단을 참조 구현과 함께 공개합니다. 코드와 산출물은 https://ripl.github.io/manipulation_benchmark_audit/ 에서 받을 수 있습니다.
링크
- arXiv 2606.04233: https://arxiv.org/abs/2606.04233
- PDF: https://arxiv.org/pdf/2606.04233
- 코드: https://github.com/ripl/ManipulationBenchmarkAudit
- 프로젝트 페이지: https://ripl.github.io/manipulation_benchmark_audit/