LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Auteurs: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

LIBERO-PRO perturbe les objets, positions de départ, instructions et scènes de LIBERO. OpenVLA, pi0 et pi0.5 chutent de 82–99 % à près de 0 % face aux changements de position et de tâche.

Pourquoi c'est important

Les équipes qui choisissent ou construisent une politique VLA s'appuient souvent sur les scores LIBERO, et cet article montre que ces scores peuvent masquer un échec complet lorsqu'un objet est déplacé ou que l'instruction change. Il fournit aux ingénieurs une suite de tests prête à l'emploi pour vérifier si une politique exploite réellement la scène et l'instruction avant de lui faire confiance sur un robot.

Problème

LIBERO est le benchmark le plus largement rapporté pour les modèles vision-language-action (VLA), mais ses tâches d'évaluation sont identiques à ses tâches d'entraînement et n'en diffèrent que par des changements presque invisibles des états initiaux des objets. Un modèle en surapprentissage peut donc dépasser 90 % sans comprendre la scène ni l'instruction, ce qui gonfle les résultats et rend les comparaisons entre modèles peu fiables.

Solution proposée

LIBERO-PRO est une extension plug-and-play de LIBERO qui applique des perturbations contrôlées selon quatre dimensions : attributs des objets (nouveaux assets dont l'apparence, la taille ou la couleur change), positions initiales (zones alternatives respectant les contraintes physiques), instructions (trois paraphrases par tâche plus des tâches repensées construites à partir des objets et actions d'entraînement) et environnements (permutation entre les cinq types de scènes de LIBERO). Les perturbations peuvent être combinées aléatoirement, sauf les changements de tâche, maintenus à part pour éviter des combinaisons dépourvues de sens.

Idées clés

• Les tâches de test LIBERO standard ne diffèrent des tâches d'entraînement que par de petits changements de l'état initial, si bien que des trajectoires mémorisées peuvent obtenir des scores élevés.
• Les modèles rejouent presque la même trajectoire lorsque l'objet cible est remplacé par un objet sans rapport, déplacé ou retiré, et lorsque l'instruction est remplacée par des tokens dépourvus de sens comme 'xxx'.
• Une robustesse apparente aux instructions paraphrasées ne prouve pas la compréhension du langage, car les mêmes modèles ignorent aussi les instructions absurdes.
• Un modèle qui accomplit séparément deux instructions atomiques a échoué lorsqu'elles ont été combinées en une seule instruction plus longue.
• Les perturbations révèlent des différences que les scores standard masquent : pi0.5 conserve 0,38 de réussite sous changements de position sur libero-goal, là où OpenVLA et pi0 obtiennent 0.

Principaux résultats

• Sur les suites LIBERO d'origine, les trois modèles obtiennent en moyenne 0,82–0,99 de réussite ; sous perturbations de position, OpenVLA et pi0 obtiennent 0,00 sur les quatre suites.
• Sous perturbations de tâche, les trois modèles obtiennent 0,00–0,01 sur chaque suite (libero-goal, libero-spatial, libero-10, libero-object).
• pi0.5 conserve une certaine réussite sous changements de position : 0,38 (libero-goal), 0,20 (libero-spatial), 0,17 (libero-object) et 0,08 (libero-10).
• Les perturbations d'attributs d'objets et de paraphrase modifient à peine les scores (par ex. OpenVLA sur libero-goal : 0,98 d'origine, 0,96 objets, 0,98 sémantique), ce que les auteurs attribuent au surapprentissage, et non à la robustesse.
• Les changements d'environnement affectent les modèles de façon inégale : OpenVLA tombe à 0,00 sur libero-object, pi0 obtient 0,27–0,60 et pi0.5 0,46–0,73 selon les suites.
• OpenVLA et pi0 s'effondrent à une réussite nulle dès que le déplacement de l'objet dépasse 0,2 unité ; pi0.5 conserve une réussite non négligeable jusqu'à 0,4 unité.

Limites

• L'article ne comporte pas de section dédiée aux limites.
• Seuls trois modèles sont évalués (OpenVLA avec quatre checkpoints par suite, pi0 et pi0.5 avec un checkpoint chacun), à raison de 50 épisodes par tâche.
• Toute l'évaluation se fait dans la simulation LIBERO ; aucun test sur robot réel n'est rapporté.
• Plusieurs constats (rejeu de trajectoire après échange d'objets, instructions absurdes, tâches composées) sont illustrés par des exemples qualitatifs sur des tâches choisies plutôt que par des statistiques agrégées.
• Les amplitudes de déplacement sont exprimées en 'unités' du simulateur sans échelle physique indiquée.

Impact sur le domaine

253 citations. Les auteurs publient le code du benchmark sur github.com/Zxy-MLlab/LIBERO-PRO.

Résumé

LIBERO s'est imposé comme un benchmark largement adopté pour évaluer les modèles Vision-Language-Action (VLA) ; cependant, ses paramètres actuels d'entraînement et d'évaluation sont problématiques, conduisant souvent à des estimations de performance gonflées et empêchant une comparaison équitable des modèles. Pour résoudre ces problèmes, nous présentons LIBERO-PRO, un benchmark LIBERO étendu qui évalue systématiquement la performance des modèles sous des perturbations raisonnables selon quatre dimensions : objets manipulés, états initiaux, instructions de tâche et environnements. Les résultats expérimentaux révèlent que, si les modèles existants atteignent plus de 90 % de précision dans l'évaluation LIBERO standard, leur performance s'effondre à 0,0 % dans notre cadre généralisé. Point crucial, cet écart met en évidence la dépendance des modèles à la mémorisation mécanique des séquences d'actions et des dispositions d'environnement issues de l'ensemble d'entraînement, plutôt qu'à une véritable compréhension de la tâche ou perception de l'environnement. Par exemple, les modèles persistent à exécuter des actions de préhension lorsque l'objet cible est remplacé par des objets sans rapport, et leurs sorties restent inchangées même lorsqu'on leur donne des instructions corrompues, voire des tokens désordonnés. Ces constats révèlent de graves défauts dans les pratiques d'évaluation actuelles, et nous appelons la communauté à abandonner les méthodologies trompeuses au profit d'évaluations robustes de la généralisation et de la compréhension des modèles. Notre code est disponible à l'adresse : https://github.com/Zxy-MLlab/LIBERO-PRO.

Liens

• arXiv 2510.03827: https://arxiv.org/abs/2510.03827
• DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
• PDF: https://arxiv.org/pdf/2510.03827v1
• Code: https://github.com/Zxy-MLlab/LIBERO-PRO