LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

作者: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

LIBERO-PRO 對 LIBERO 的物體、起始位置、指令與場景施加擾動。在位置與任務改變下，OpenVLA、pi0 與 pi0.5 從 82–99% 跌到接近 0%。

為何重要

選擇或打造 VLA 策略的團隊常仰賴 LIBERO 分數，而本論文顯示，當物體被移動或指令改變時，這些分數可能掩蓋了徹底的失敗。它提供工程師一套現成的測試組，在把策略放上機器人之前，先檢查它是否真的有用到場景與指令。

問題

LIBERO 是視覺-語言-動作（VLA）模型最常回報的基準，但其評估任務與訓練任務相同，差別只在初始物體狀態上幾乎看不出的變化。因此，一個過度擬合的模型不必理解場景或指令就能拿到 90% 以上的分數，這會使結果灌水，並讓模型間的比較不可靠。

提出的方法

LIBERO-PRO 是 LIBERO 的隨插即用擴充，沿四個維度施加受控擾動：物體屬性（外觀、尺寸或顏色改變的新素材）、初始位置（符合物理約束的其他區域）、指令（每個任務三種換句話說的版本，外加以訓練用物體與動作重新設計的任務）以及環境（在 LIBERO 的五種場景類型之間切換）。各種擾動可隨機組合，唯獨任務改變分開處理，以避免產生無意義的組合。

關鍵見解

• 標準 LIBERO 測試任務與訓練任務之間，只有初始狀態上的細微差異，因此死記的軌跡也能拿到高分。
• 當目標物體被換成無關物體、被移動或被移除時，以及當指令被換成像 'xxx' 這種無意義的 token 時，模型重播的幾乎是同一條軌跡。
• 對換句話說的指令表現出的表面穩健性，並不能證明模型理解語言，因為同樣的模型也會忽略無意義的指令。
• 一個能分別完成兩條原子指令的模型，在這兩條指令合併成一條較長的指令時就失敗了。
• 擾動揭露了標準分數所掩蓋的差異：在 libero-goal 的位置改變下，pi0.5 仍保有 0.38 的成功率，而 OpenVLA 與 pi0 為 0。

主要結果

• 在原始 LIBERO 測試組上，三個模型的平均成功率為 0.82–0.99；在位置擾動下，OpenVLA 與 pi0 在全部四個測試組上都是 0.00。
• 在任務擾動下，三個模型在每個測試組（libero-goal、libero-spatial、libero-10、libero-object）上的分數都是 0.00–0.01。
• pi0.5 在位置改變下仍保有部分成功率：0.38（libero-goal）、0.20（libero-spatial）、0.17（libero-object）與 0.08（libero-10）。
• 物體屬性與換句話說的擾動幾乎不影響分數（例如 OpenVLA 在 libero-goal 上：原始 0.98、物體 0.96、語意 0.98），作者將此歸因於過度擬合，而非穩健性。
• 環境改變對各模型的影響並不一致：OpenVLA 在 libero-object 上跌到 0.00，pi0 在各測試組的分數為 0.27–0.60，pi0.5 則為 0.46–0.73。
• 一旦物體位移超過 0.2 單位，OpenVLA 與 pi0 的成功率就降到零；pi0.5 在位移達 0.4 單位之前仍保有不可忽略的成功率。

限制

• 論文沒有專門的限制章節。
• 只評估了三個模型（OpenVLA 每個測試組各一個、共四個檢查點，pi0 與 pi0.5 各一個檢查點），每個任務 50 個回合。
• 所有評估都在 LIBERO 模擬中進行；未回報實體機器人測試。
• 若干發現（物體替換後的軌跡重播、無意義指令、組合任務）是以選定任務上的定性範例呈現，而非彙總統計。
• 位移量是以模擬器的「單位」回報，未說明對應的物理尺度。

對領域的影響

已被引用 253 次。作者在 github.com/Zxy-MLlab/LIBERO-PRO 釋出基準程式碼。

摘要

LIBERO 已成為評估視覺-語言-動作（VLA）模型時廣受採用的基準；然而，其目前的訓練與評估設定有問題，常導致效能估計灌水，並妨礙模型間的公平比較。為了解決這些問題，我們提出 LIBERO-PRO，這是一個擴充版的 LIBERO 基準，在四個維度上施加合理擾動來系統化地評估模型效能：被操作的物體、初始狀態、任務指令與環境。實驗結果顯示，儘管現有模型在標準 LIBERO 評估下的準確率超過 90%，在我們的泛化設定下，其效能卻崩落到 0.0%。關鍵在於，這種落差暴露出模型仰賴的是對訓練集中動作序列與環境配置的死記硬背，而非真正理解任務或感知環境。例如，當目標物體被換成不相關的物品時，模型仍持續執行抓取動作；即使給予損毀的指令，甚至是雜亂的 token，其輸出也維持不變。這些發現揭露了當前評估做法的嚴重缺陷，我們呼籲社群揚棄具誤導性的方法，改採能穩健評估模型泛化與理解能力的方式。我們的程式碼可在此取得：https://github.com/Zxy-MLlab/LIBERO-PRO。

連結

• arXiv 2510.03827: https://arxiv.org/abs/2510.03827
• DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
• PDF: https://arxiv.org/pdf/2510.03827v1
• 程式碼: https://github.com/Zxy-MLlab/LIBERO-PRO