LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Autoren: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

LIBERO-PRO stört die Objekte, Startpositionen, Anweisungen und Szenen von LIBERO. OpenVLA, pi0 und pi0.5 fallen bei Positions- und Aufgabenänderungen von 82–99 % auf nahezu 0 %.

Warum es wichtig ist

Teams, die eine VLA-Policy auswählen oder entwickeln, verlassen sich oft auf LIBERO-Werte, und dieses Paper zeigt, dass diese Werte ein vollständiges Versagen verbergen können, wenn ein Objekt verschoben oder die Anweisung geändert wird. Es gibt Ingenieuren eine fertige Testsuite an die Hand, um zu prüfen, ob eine Policy die Szene und die Anweisung tatsächlich nutzt, bevor man ihr auf einem Roboter vertraut.

Problem

LIBERO ist der am häufigsten berichtete Benchmark für Vision-Language-Action-Modelle (VLA), doch seine Evaluierungsaufgaben sind dieselben wie seine Trainingsaufgaben und unterscheiden sich nur durch nahezu unsichtbare Änderungen der anfänglichen Objektzustände. Ein überangepasstes Modell kann daher über 90 % erzielen, ohne die Szene oder die Anweisung zu verstehen, was die Ergebnisse aufbläht und Vergleiche zwischen Modellen unzuverlässig macht.

Lösungsansatz

LIBERO-PRO ist eine Plug-and-Play-Erweiterung von LIBERO, die kontrollierte Störungen entlang vier Dimensionen anwendet: Objekteigenschaften (neue Assets mit veränderter Erscheinung, Größe oder Farbe), Anfangspositionen (alternative Bereiche, die physikalische Randbedingungen einhalten), Anweisungen (drei Umformulierungen pro Aufgabe plus neu gestaltete Aufgaben aus Trainingsobjekten und -aktionen) und Umgebungen (Wechsel zwischen den fünf Szenentypen von LIBERO). Störungen können zufällig kombiniert werden, mit Ausnahme von Aufgabenänderungen, die getrennt gehalten werden, um bedeutungslose Kombinationen zu vermeiden.

Wichtigste Erkenntnisse

Die Standard-Testaufgaben von LIBERO unterscheiden sich von den Trainingsaufgaben nur durch kleine Änderungen des Anfangszustands, sodass auswendig gelernte Trajektorien hohe Werte erzielen können.
Modelle spielen nahezu dieselbe Trajektorie ab, wenn das Zielobjekt durch ein unzusammenhängendes ersetzt, verschoben oder entfernt wird und wenn die Anweisung durch bedeutungslose Tokens wie 'xxx' ersetzt wird.
Scheinbare Robustheit gegenüber umformulierten Anweisungen ist kein Beleg für Sprachverständnis, weil dieselben Modelle auch unsinnige Anweisungen ignorieren.
Ein Modell, das zwei atomare Anweisungen getrennt erledigt, scheiterte, als sie zu einer längeren Anweisung kombiniert wurden.
Störungen offenbaren Unterschiede, die Standardwerte verbergen: pi0.5 behält bei Positionsänderungen auf libero-goal 0,38 Erfolg, wo OpenVLA und pi0 0 erzielen.

Hauptergebnisse

Auf den ursprünglichen LIBERO-Suites erreichen die drei Modelle im Mittel 0,82–0,99 Erfolg; unter Positionsstörungen erzielen OpenVLA und pi0 auf allen vier Suites 0,00.
Unter Aufgabenstörungen erzielen alle drei Modelle auf jeder Suite 0,00–0,01 (libero-goal, libero-spatial, libero-10, libero-object).
pi0.5 behält bei Positionsänderungen etwas Erfolg: 0,38 (libero-goal), 0,20 (libero-spatial), 0,17 (libero-object) und 0,08 (libero-10).
Störungen von Objekteigenschaften und Umformulierungen ändern die Werte kaum (z. B. OpenVLA auf libero-goal: 0,98 original, 0,96 Objekte, 0,98 semantisch), was die Autoren auf Overfitting zurückführen, nicht auf Robustheit.
Umgebungsänderungen wirken sich ungleich auf die Modelle aus: OpenVLA fällt auf libero-object auf 0,00, pi0 erzielt über die Suites 0,27–0,60 und pi0.5 0,46–0,73.
OpenVLA und pi0 brechen auf null Erfolg ein, sobald die Objektverschiebung 0,2 Einheiten überschreitet; pi0.5 behält nennenswerten Erfolg bis 0,4 Einheiten.

Einschränkungen

Das Paper hat keinen eigenen Abschnitt zu Einschränkungen.
Nur drei Modelle werden evaluiert (OpenVLA mit vier Checkpoints pro Suite, pi0 und pi0.5 mit je einem Checkpoint), mit 50 Episoden pro Aufgabe.
Die gesamte Evaluierung erfolgt in der LIBERO-Simulation; Tests mit realen Robotern werden nicht berichtet.
Mehrere Befunde (Wiedergabe von Trajektorien nach Objekttausch, unsinnige Anweisungen, zusammengesetzte Aufgaben) werden anhand qualitativer Beispiele zu ausgewählten Aufgaben statt anhand aggregierter Statistiken gezeigt.
Verschiebungsgrößen werden in Simulator-'Einheiten' ohne Angabe eines physikalischen Maßstabs berichtet.

Wirkung auf das Fachgebiet

253 Zitierungen. Die Autoren veröffentlichen den Benchmark-Code unter github.com/Zxy-MLlab/LIBERO-PRO.

Zusammenfassung

LIBERO hat sich als weit verbreiteter Benchmark zur Evaluierung von Vision-Language-Action-Modellen (VLA) etabliert; seine derzeitigen Trainings- und Evaluierungseinstellungen sind jedoch problematisch, führen oft zu überhöhten Leistungsschätzungen und verhindern einen fairen Modellvergleich. Um diese Probleme anzugehen, stellen wir LIBERO-PRO vor, einen erweiterten LIBERO-Benchmark, der die Modellleistung unter vernünftigen Störungen in vier Dimensionen systematisch evaluiert: manipulierte Objekte, Anfangszustände, Aufgabenanweisungen und Umgebungen. Die experimentellen Ergebnisse zeigen, dass bestehende Modelle in der Standard-LIBERO-Evaluierung zwar über 90 % Genauigkeit erreichen, ihre Leistung in unserer verallgemeinerten Einstellung jedoch auf 0,0 % einbricht. Entscheidend ist, dass diese Diskrepanz offenlegt, dass sich die Modelle auf das stumpfe Auswendiglernen von Aktionssequenzen und Umgebungsanordnungen aus dem Trainingssatz stützen statt auf echtes Aufgabenverständnis oder Umgebungswahrnehmung. So führen Modelle beispielsweise weiterhin Greifaktionen aus, wenn das Zielobjekt durch irrelevante Gegenstände ersetzt wird, und ihre Ausgaben bleiben unverändert, selbst wenn sie verfälschte Anweisungen oder sogar wirre Tokens erhalten. Diese Befunde legen die gravierenden Mängel der aktuellen Evaluierungspraxis offen, und wir rufen die Community auf, irreführende Methoden zugunsten robuster Bewertungen der Generalisierung und des Verständnisses von Modellen aufzugeben. Unser Code ist verfügbar unter: https://github.com/Zxy-MLlab/LIBERO-PRO.

Open Source Robotics