LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Autori: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

LIBERO-PRO perturba oggetti, posizioni iniziali, istruzioni e scene di LIBERO. OpenVLA, pi0 e pi0.5 scendono dall'82–99 % a quasi lo 0 % con cambi di posizione e di task.

Perché è importante

I team che scelgono o costruiscono una policy VLA si affidano spesso ai punteggi di LIBERO, e questo articolo mostra che quei punteggi possono nascondere un fallimento totale quando un oggetto viene spostato o l'istruzione cambia. Fornisce agli ingegneri una suite di test pronta per verificare se una policy usa davvero la scena e l'istruzione prima di fidarsene su un robot.

Problema

LIBERO è il benchmark più riportato per i modelli vision-language-action (VLA), ma i suoi task di valutazione sono gli stessi dei task di addestramento e differiscono solo per variazioni quasi invisibili negli stati iniziali degli oggetti. Un modello in overfitting può quindi superare il 90 % senza comprendere la scena né l'istruzione, il che gonfia i risultati e rende inaffidabili i confronti tra modelli.

Soluzione proposta

LIBERO-PRO è un'estensione plug-and-play di LIBERO che applica perturbazioni controllate lungo quattro dimensioni: attributi degli oggetti (nuovi asset con aspetto, dimensioni o colore modificati), posizioni iniziali (regioni alternative che rispettano i vincoli fisici), istruzioni (tre parafrasi per task più task riprogettati costruiti con oggetti e azioni dell'addestramento) e ambienti (scambio tra i cinque tipi di scena di LIBERO). Le perturbazioni possono essere combinate a caso, tranne i cambi di task, che restano separati per evitare combinazioni prive di senso.

Idee chiave

• I task di test standard di LIBERO differiscono da quelli di addestramento solo per piccole variazioni dello stato iniziale, quindi le traiettorie memorizzate possono ottenere punteggi elevati.
• I modelli ripetono quasi la stessa traiettoria quando l'oggetto bersaglio viene sostituito con uno non pertinente, spostato o rimosso, e quando l'istruzione viene sostituita da token privi di senso come 'xxx'.
• L'apparente robustezza alle istruzioni parafrasate non dimostra comprensione del linguaggio, perché gli stessi modelli ignorano anche istruzioni prive di senso.
• Un modello che porta a termine due istruzioni atomiche separatamente ha fallito quando sono state combinate in un'unica istruzione più lunga.
• Le perturbazioni rivelano differenze che i punteggi standard nascondono: pi0.5 mantiene un successo di 0,38 con cambi di posizione su libero-goal, dove OpenVLA e pi0 ottengono 0.

Risultati principali

• Sulle suite originali di LIBERO i tre modelli hanno un successo medio di 0,82–0,99; con perturbazioni di posizione OpenVLA e pi0 ottengono 0,00 su tutte e quattro le suite.
• Con perturbazioni del task tutti e tre i modelli ottengono 0,00–0,01 su ogni suite (libero-goal, libero-spatial, libero-10, libero-object).
• pi0.5 mantiene un certo successo con cambi di posizione: 0,38 (libero-goal), 0,20 (libero-spatial), 0,17 (libero-object) e 0,08 (libero-10).
• Le perturbazioni degli attributi degli oggetti e le parafrasi cambiano appena i punteggi (ad es. OpenVLA su libero-goal: 0,98 originale, 0,96 oggetti, 0,98 semantica), cosa che gli autori attribuiscono all'overfitting, non alla robustezza.
• I cambi di ambiente colpiscono i modelli in modo disomogeneo: OpenVLA scende a 0,00 su libero-object, pi0 ottiene 0,27–0,60 e pi0.5 0,46–0,73 tra le suite.
• OpenVLA e pi0 crollano a successo zero quando lo spostamento dell'oggetto supera 0,2 unità; pi0.5 mantiene un successo non trascurabile fino a 0,4 unità.

Limiti

• L'articolo non ha una sezione dedicata ai limiti.
• Sono valutati solo tre modelli (OpenVLA con quattro checkpoint, uno per suite, pi0 e pi0.5 con un checkpoint ciascuno), con 50 episodi per task.
• Tutta la valutazione è nella simulazione LIBERO; non sono riportati test su robot reali.
• Diversi risultati (ripetizione della traiettoria dopo lo scambio di oggetti, istruzioni prive di senso, task composti) sono mostrati tramite esempi qualitativi su task selezionati anziché con statistiche aggregate.
• Le entità degli spostamenti sono riportate in 'unità' del simulatore senza una scala fisica dichiarata.

Impatto sul settore

253 citazioni. Gli autori rilasciano il codice del benchmark su github.com/Zxy-MLlab/LIBERO-PRO.

Abstract

LIBERO è diventato un benchmark ampiamente adottato per valutare i modelli Vision-Language-Action (VLA); tuttavia, le sue attuali impostazioni di addestramento e valutazione sono problematiche e portano spesso a stime delle prestazioni gonfiate, impedendo un confronto equo tra i modelli. Per affrontare questi problemi introduciamo LIBERO-PRO, un benchmark LIBERO esteso che valuta sistematicamente le prestazioni dei modelli sotto perturbazioni ragionevoli lungo quattro dimensioni: oggetti manipolati, stati iniziali, istruzioni del task e ambienti. I risultati sperimentali rivelano che, sebbene i modelli esistenti raggiungano oltre il 90 % di accuratezza nella valutazione standard di LIBERO, le loro prestazioni crollano allo 0,0 % nella nostra impostazione generalizzata. In modo cruciale, questa discrepanza mette in luce la dipendenza dei modelli dalla memorizzazione meccanica di sequenze di azioni e disposizioni dell'ambiente presenti nel training set, piuttosto che da una reale comprensione del task o da una percezione dell'ambiente. Per esempio, i modelli continuano a eseguire azioni di presa quando l'oggetto bersaglio viene sostituito con elementi irrilevanti, e i loro output restano invariati anche quando ricevono istruzioni corrotte o persino token confusi. Questi risultati mettono in luce gravi difetti delle attuali pratiche di valutazione, e invitiamo la comunità ad abbandonare metodologie fuorvianti a favore di valutazioni robuste della generalizzazione e della comprensione dei modelli. Il nostro codice è disponibile all'indirizzo: https://github.com/Zxy-MLlab/LIBERO-PRO.

Link

• arXiv 2510.03827: https://arxiv.org/abs/2510.03827
• DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
• PDF: https://arxiv.org/pdf/2510.03827v1
• Codice: https://github.com/Zxy-MLlab/LIBERO-PRO