LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Autores: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

LIBERO-PRO perturba los objetos, las posiciones iniciales, las instrucciones y las escenas de LIBERO. OpenVLA, pi0 y pi0.5 caen del 82–99 % a casi el 0 % ante cambios de posición y de tarea.

Por qué importa

Los equipos que eligen o construyen una política VLA suelen basarse en las puntuaciones de LIBERO, y este artículo muestra que esas puntuaciones pueden ocultar un fallo total cuando se mueve un objeto o cambia la instrucción. Ofrece a los ingenieros un conjunto de pruebas listo para comprobar si una política realmente usa la escena y la instrucción antes de confiar en ella en un robot.

Problema

LIBERO es el benchmark más citado para los modelos vision-language-action (VLA), pero sus tareas de evaluación son las mismas que sus tareas de entrenamiento y solo difieren en cambios casi invisibles de los estados iniciales de los objetos. Por tanto, un modelo sobreajustado puede puntuar por encima del 90 % sin entender la escena ni la instrucción, lo que infla los resultados y hace poco fiables las comparaciones entre modelos.

Solución propuesta

LIBERO-PRO es una extensión plug-and-play de LIBERO que aplica perturbaciones controladas en cuatro dimensiones: atributos de los objetos (nuevos recursos con apariencia, tamaño o color cambiados), posiciones iniciales (regiones alternativas que respetan las restricciones físicas), instrucciones (tres paráfrasis por tarea más tareas rediseñadas construidas a partir de objetos y acciones del entrenamiento) y entornos (intercambio entre los cinco tipos de escena de LIBERO). Las perturbaciones pueden combinarse al azar, salvo los cambios de tarea, que se mantienen aparte para evitar combinaciones sin sentido.

Ideas clave

• Las tareas de prueba estándar de LIBERO solo se diferencian de las de entrenamiento por pequeños cambios en el estado inicial, así que las trayectorias memorizadas pueden obtener puntuaciones altas.
• Los modelos reproducen casi la misma trayectoria cuando el objeto objetivo se sustituye por otro sin relación, se mueve o se retira, y cuando la instrucción se sustituye por tokens sin sentido como 'xxx'.
• La aparente robustez ante instrucciones parafraseadas no demuestra comprensión del lenguaje, porque los mismos modelos también ignoran instrucciones sin sentido.
• Un modelo que completa dos instrucciones atómicas por separado fracasó cuando se combinaron en una sola instrucción más larga.
• Las perturbaciones revelan diferencias que las puntuaciones estándar ocultan: pi0.5 mantiene un éxito de 0,38 ante cambios de posición en libero-goal, donde OpenVLA y pi0 puntúan 0.

Resultados principales

• En los conjuntos originales de LIBERO, los tres modelos promedian un éxito de 0,82–0,99; con perturbaciones de posición, OpenVLA y pi0 obtienen 0,00 en los cuatro conjuntos.
• Con perturbaciones de tarea, los tres modelos obtienen 0,00–0,01 en todos los conjuntos (libero-goal, libero-spatial, libero-10, libero-object).
• pi0.5 conserva algo de éxito ante cambios de posición: 0,38 (libero-goal), 0,20 (libero-spatial), 0,17 (libero-object) y 0,08 (libero-10).
• Las perturbaciones de atributos de objetos y de paráfrasis apenas cambian las puntuaciones (p. ej., OpenVLA en libero-goal: 0,98 original, 0,96 objetos, 0,98 semántica), lo que los autores atribuyen al sobreajuste, no a la robustez.
• Los cambios de entorno afectan a los modelos de forma desigual: OpenVLA cae a 0,00 en libero-object, pi0 obtiene 0,27–0,60 y pi0.5 0,46–0,73 según el conjunto.
• OpenVLA y pi0 se desploman a un éxito nulo cuando el desplazamiento del objeto supera 0,2 unidades; pi0.5 mantiene un éxito no trivial hasta 0,4 unidades.

Limitaciones

• El artículo no tiene una sección dedicada a las limitaciones.
• Solo se evalúan tres modelos (OpenVLA con cuatro checkpoints, uno por conjunto, y pi0 y pi0.5 con un checkpoint cada uno), con 50 episodios por tarea.
• Toda la evaluación se hace en simulación con LIBERO; no se presentan pruebas con robots reales.
• Varios hallazgos (reproducción de trayectorias tras intercambiar objetos, instrucciones sin sentido, tareas compuestas) se muestran mediante ejemplos cualitativos en tareas seleccionadas y no con estadísticas agregadas.
• Las magnitudes de desplazamiento se indican en 'unidades' del simulador sin una escala física declarada.

Impacto en el campo

253 citas. Los autores publican el código del benchmark en github.com/Zxy-MLlab/LIBERO-PRO.

Resumen

LIBERO se ha convertido en un benchmark ampliamente adoptado para evaluar modelos Vision-Language-Action (VLA); sin embargo, su configuración actual de entrenamiento y evaluación es problemática, lo que a menudo conduce a estimaciones de rendimiento infladas e impide una comparación justa de los modelos. Para resolver estos problemas, presentamos LIBERO-PRO, un benchmark LIBERO ampliado que evalúa sistemáticamente el rendimiento de los modelos bajo perturbaciones razonables en cuatro dimensiones: objetos manipulados, estados iniciales, instrucciones de la tarea y entornos. Los resultados experimentales revelan que, aunque los modelos existentes logran más de un 90 % de precisión en la evaluación estándar de LIBERO, su rendimiento se desploma al 0,0 % en nuestra configuración generalizada. De forma crucial, esta discrepancia pone de manifiesto que los modelos dependen de la memorización mecánica de secuencias de acciones y de disposiciones del entorno del conjunto de entrenamiento, y no de una comprensión real de la tarea ni de la percepción del entorno. Por ejemplo, los modelos siguen ejecutando acciones de agarre cuando el objeto objetivo se sustituye por elementos irrelevantes, y sus salidas no cambian ni siquiera cuando reciben instrucciones corrompidas o incluso tokens desordenados. Estos hallazgos exponen los graves defectos de las prácticas de evaluación actuales, e instamos a la comunidad a abandonar las metodologías engañosas en favor de evaluaciones robustas de la generalización y la comprensión de los modelos. Nuestro código está disponible en: https://github.com/Zxy-MLlab/LIBERO-PRO.

Enlaces

• arXiv 2510.03827: https://arxiv.org/abs/2510.03827
• DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
• PDF: https://arxiv.org/pdf/2510.03827v1
• Código: https://github.com/Zxy-MLlab/LIBERO-PRO