LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

저자: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

LIBERO-PRO는 LIBERO의 물체, 시작 위치, 지시, 장면을 교란한다. OpenVLA, pi0, pi0.5는 위치 및 작업 변경 하에서 82–99%에서 거의 0%로 떨어진다.

중요한 이유

VLA 정책을 선택하거나 구축하는 팀은 흔히 LIBERO 점수에 의존하는데, 이 논문은 물체가 옮겨지거나 지시가 바뀔 때 그 점수가 완전한 실패를 가릴 수 있음을 보여 준다. 엔지니어는 이를 통해 정책을 로봇에 믿고 쓰기 전에 정책이 실제로 장면과 지시를 활용하는지 확인할 수 있는 바로 쓸 수 있는 테스트 모음을 얻는다.

문제

LIBERO는 vision-language-action(VLA) 모델에 대해 가장 널리 보고되는 벤치마크이지만, 평가 작업이 학습 작업과 동일하고 초기 물체 상태의 거의 보이지 않는 변화만 다르다. 따라서 과적합된 모델은 장면이나 지시를 이해하지 않고도 90% 이상의 점수를 받을 수 있으며, 이는 결과를 부풀리고 모델 간 비교를 신뢰할 수 없게 만든다.

제안 방법

LIBERO-PRO는 네 가지 차원을 따라 통제된 교란을 적용하는 LIBERO의 플러그 앤 플레이 확장이다. 물체 속성(외관, 크기 또는 색상을 바꾼 새 에셋), 초기 위치(물리적 제약을 지키는 대체 영역), 지시(작업당 세 가지 바꿔 말하기와 학습 물체 및 행동으로 구성한 재설계 작업), 환경(LIBERO의 다섯 가지 장면 유형 간 교체)이다. 교란은 무작위로 결합할 수 있지만, 작업 변경은 무의미한 조합을 피하기 위해 별도로 유지된다.

핵심 통찰

표준 LIBERO 테스트 작업은 초기 상태의 작은 변화만으로 학습 작업과 다르므로, 암기한 궤적으로도 높은 점수를 받을 수 있다.
모델은 목표 물체가 무관한 물체로 바뀌거나, 옮겨지거나, 제거될 때, 그리고 지시가 'xxx' 같은 무의미한 토큰으로 바뀔 때에도 거의 같은 궤적을 재생한다.
바꿔 말한 지시에 대한 겉보기 강건성은 언어 이해의 증거가 아니다. 같은 모델이 무의미한 지시도 무시하기 때문이다.
두 개의 원자적 지시를 각각 따로 완수하는 모델이, 그 둘을 하나의 더 긴 지시로 결합하자 실패했다.
교란은 표준 점수가 가리는 차이를 드러낸다. pi0.5는 libero-goal에서 위치 변경 하에 0.38의 성공률을 유지하는 반면, OpenVLA와 pi0는 0점이다.

주요 결과

원래 LIBERO 모음에서 세 모델의 평균 성공률은 0.82–0.99이다. 위치 교란 하에서 OpenVLA와 pi0는 네 모음 모두에서 0.00을 기록한다.
작업 교란 하에서 세 모델 모두 모든 모음(libero-goal, libero-spatial, libero-10, libero-object)에서 0.00–0.01을 기록한다.
pi0.5는 위치 변경 하에서도 어느 정도 성공을 유지한다: 0.38(libero-goal), 0.20(libero-spatial), 0.17(libero-object), 0.08(libero-10).
물체 속성 및 바꿔 말하기 교란은 점수를 거의 바꾸지 않으며(예: libero-goal에서 OpenVLA는 원본 0.98, 물체 0.96, 의미 0.98), 저자는 이를 강건성이 아니라 과적합 탓으로 본다.
환경 변경은 모델에 고르지 않게 영향을 준다. OpenVLA는 libero-object에서 0.00으로 떨어지고, pi0는 모음 전반에서 0.27–0.60, pi0.5는 0.46–0.73을 기록한다.
OpenVLA와 pi0는 물체 변위가 0.2 단위를 넘으면 성공률이 0으로 붕괴한다. pi0.5는 0.4 단위까지 무시할 수 없는 수준의 성공률을 유지한다.

한계

논문에는 별도의 한계점 섹션이 없다.
평가된 모델은 세 개뿐이며(모음별 체크포인트 네 개를 쓴 OpenVLA, 각각 체크포인트 하나를 쓴 pi0와 pi0.5), 작업당 50 에피소드로 평가했다.
모든 평가는 LIBERO 시뮬레이션에서 이루어졌으며, 실제 로봇 테스트는 보고되지 않았다.
여러 발견(물체 교체 후 궤적 재생, 무의미한 지시, 조합된 작업)은 집계 통계가 아니라 선별된 작업에 대한 정성적 예시로 제시된다.
변위 크기는 물리적 척도를 밝히지 않은 채 시뮬레이터 '단위'로 보고된다.

분야에 미친 영향

피인용 253회. 저자는 github.com/Zxy-MLlab/LIBERO-PRO에서 벤치마크 코드를 공개한다.

초록

LIBERO는 Vision-Language-Action(VLA) 모델을 평가하기 위한 널리 채택된 벤치마크로 자리 잡았다. 그러나 현재의 학습 및 평가 설정에는 문제가 있어, 종종 성능 추정치를 부풀리고 공정한 모델 비교를 가로막는다. 이러한 문제를 해결하기 위해 우리는 LIBERO-PRO를 소개한다. 이는 조작 대상 물체, 초기 상태, 작업 지시, 환경의 네 가지 차원에 걸친 합리적인 교란 하에서 모델 성능을 체계적으로 평가하는 확장된 LIBERO 벤치마크이다. 실험 결과, 기존 모델들은 표준 LIBERO 평가에서 90% 이상의 정확도를 달성하지만, 우리의 일반화된 설정에서는 성능이 0.0%로 붕괴한다. 결정적으로, 이 불일치는 모델이 진정한 작업 이해나 환경 인식이 아니라 학습 세트의 행동 시퀀스와 환경 배치를 기계적으로 암기하는 데 의존한다는 것을 드러낸다. 예를 들어, 모델은 목표 물체가 무관한 물건으로 바뀌어도 계속 파지 동작을 수행하며, 손상된 지시나 심지어 엉망인 토큰이 주어져도 출력이 바뀌지 않는다. 이러한 발견은 현재 평가 관행의 심각한 결함을 드러내며, 우리는 커뮤니티가 오해를 부르는 방법론을 버리고 모델의 일반화와 이해에 대한 강건한 평가를 채택할 것을 촉구한다. 코드는 다음에서 이용할 수 있다: https://github.com/Zxy-MLlab/LIBERO-PRO.

링크

arXiv 2510.03827: https://arxiv.org/abs/2510.03827
DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
PDF: https://arxiv.org/pdf/2510.03827v1
코드: https://github.com/Zxy-MLlab/LIBERO-PRO