LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

作者: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

LIBERO-PRO 对 LIBERO 的物体、起始位置、指令和场景施加扰动。在位置和任务变化下，OpenVLA、pi0 和 pi0.5 从 82–99% 降至接近 0%。

为何重要

选择或构建 VLA 策略的团队常常依赖 LIBERO 分数，而本文表明，当物体被移动或指令改变时，这些分数可能掩盖了完全失败的情况。它为工程师提供了一套现成的测试套件，用于在机器人上信任某个策略之前，检查它是否真正利用了场景和指令。

问题

LIBERO 是视觉-语言-动作（VLA）模型最常被报告的基准，但其评估任务与训练任务相同，区别仅在于初始物体状态上几乎不可见的变化。因此，一个过拟合的模型无需理解场景或指令就能得到 90% 以上的分数，这会夸大结果，并使模型之间的比较不可靠。

提出的方法

LIBERO-PRO 是 LIBERO 的即插即用扩展，沿四个维度施加受控扰动：物体属性（外观、尺寸或颜色发生变化的新资产）、初始位置（遵守物理约束的其他区域）、指令（每个任务三种改写，外加由训练物体和动作构建的重新设计的任务）以及环境（在 LIBERO 的五种场景类型之间切换）。扰动可以随机组合，但任务变化除外，任务变化单独施加，以避免无意义的组合。

关键见解

• 标准 LIBERO 测试任务与训练任务之间仅在初始状态上有微小差异，因此记住的轨迹也能取得高分。
• 当目标物体被替换为无关物体、被移动或被移除时，以及当指令被替换为诸如 'xxx' 之类无意义的 token 时，模型重放的几乎是同一条轨迹。
• 对改写指令表现出的表面鲁棒性并不能证明模型理解语言，因为同样的模型也会忽略无意义的指令。
• 一个能分别完成两条原子指令的模型，在这两条指令被合并为一条更长的指令时失败了。
• 扰动揭示了标准分数所掩盖的差异：在 libero-goal 的位置变化下，pi0.5 保持 0.38 的成功率，而 OpenVLA 和 pi0 得分为 0。

主要结果

• 在原始 LIBERO 套件上，三个模型的平均成功率为 0.82–0.99；在位置扰动下，OpenVLA 和 pi0 在全部四个套件上得分均为 0.00。
• 在任务扰动下，三个模型在每个套件（libero-goal、libero-spatial、libero-10、libero-object）上的得分均为 0.00–0.01。
• pi0.5 在位置变化下仍保持一定的成功率：0.38（libero-goal）、0.20（libero-spatial）、0.17（libero-object）和 0.08（libero-10）。
• 物体属性扰动和改写扰动几乎不改变分数（例如 OpenVLA 在 libero-goal 上：原始 0.98，物体 0.96，语义 0.98），作者将其归因于过拟合，而非鲁棒性。
• 环境变化对各模型的影响不均衡：OpenVLA 在 libero-object 上降至 0.00，pi0 在各套件上的得分为 0.27–0.60，pi0.5 为 0.46–0.73。
• 一旦物体位移超过 0.2 个单位，OpenVLA 和 pi0 的成功率便降为零；pi0.5 在位移达到 0.4 个单位前仍保持不可忽视的成功率。

局限

• 论文没有专门的局限性章节。
• 仅评估了三个模型（OpenVLA 使用每个套件各一个、共四个检查点，pi0 和 pi0.5 各使用一个检查点），每个任务 50 个回合。
• 所有评估都在 LIBERO 仿真中进行；未报告真实机器人测试。
• 若干发现（物体替换后的轨迹重放、无意义指令、组合任务）是通过选定任务上的定性示例展示的，而非汇总统计。
• 位移幅度以仿真器中的“单位”报告，未说明对应的物理尺度。

对领域的影响

已被引用 253 次。作者在 github.com/Zxy-MLlab/LIBERO-PRO 发布了基准代码。

摘要

LIBERO 已成为评估视觉-语言-动作（VLA）模型时被广泛采用的基准；然而，其当前的训练和评估设置存在问题，常常导致性能估计虚高，并妨碍模型之间的公平比较。为解决这些问题，我们提出 LIBERO-PRO，这是一个扩展的 LIBERO 基准，它在四个维度上施加合理的扰动来系统地评估模型性能：被操作物体、初始状态、任务指令和环境。实验结果表明，尽管现有模型在标准 LIBERO 评估下的准确率超过 90%，但在我们的泛化设置下，其性能会崩溃至 0.0%。关键在于，这种差异暴露出模型依赖的是对训练集中动作序列和环境布局的死记硬背，而不是真正的任务理解或环境感知。例如，当目标物体被替换为无关物品时，模型仍坚持执行抓取动作；即使给出损坏的指令甚至杂乱的 token，其输出也保持不变。这些发现揭示了当前评估实践中的严重缺陷，我们呼吁社区放弃具有误导性的方法，转而采用对模型泛化与理解能力的稳健评估。我们的代码见：https://github.com/Zxy-MLlab/LIBERO-PRO。

链接

• arXiv 2510.03827: https://arxiv.org/abs/2510.03827
• DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
• PDF: https://arxiv.org/pdf/2510.03827v1
• 代码: https://github.com/Zxy-MLlab/LIBERO-PRO