LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

著者: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

LIBERO-PRO は LIBERO の物体、初期位置、指示、シーンに摂動を加える。位置とタスクの変更の下で、OpenVLA、pi0、pi0.5 は 82–99% からほぼ 0% に低下する。

重要な理由

VLA ポリシーを選定・構築するチームは LIBERO のスコアに頼ることが多いが、本論文は、物体が移動したり指示が変わったりすると、そのスコアが完全な失敗を覆い隠しうることを示している。ロボット上でポリシーを信頼する前に、それが実際にシーンと指示を利用しているかを確認するための既成のテストスイートをエンジニアに提供する。

課題

LIBERO は Vision-Language-Action（VLA）モデルで最も広く報告されているベンチマークだが、その評価タスクは学習タスクと同じであり、初期の物体状態にほとんど目に見えない変化があるだけである。そのため、過学習したモデルはシーンや指示を理解していなくても 90% を超えるスコアを出せ、結果が水増しされ、モデル間の比較が信頼できなくなる。

提案手法

LIBERO-PRO は LIBERO のプラグアンドプレイ型の拡張であり、4 つの次元に沿って制御された摂動を加える。物体属性（外観、サイズ、色を変えた新しいアセット）、初期位置（物理的制約を満たす別の領域）、指示（タスクごとに 3 つの言い換えと、学習時の物体と行動から構築した再設計タスク）、環境（LIBERO の 5 種類のシーンタイプ間での入れ替え）である。摂動はランダムに組み合わせられるが、タスクの変更だけは無意味な組み合わせを避けるため別扱いとしている。

主な知見

標準の LIBERO のテストタスクは学習タスクと初期状態のわずかな変化しか違わないため、記憶した軌道でも高いスコアが得られる。
対象物体が無関係な物体に置き換えられたり、移動・除去されたりしたとき、また指示が 'xxx' のような無意味なトークンに置き換えられたときにも、モデルはほぼ同じ軌道を再生する。
言い換えた指示に対する見かけ上の頑健性は、言語理解の証拠にはならない。同じモデルが無意味な指示も無視するからである。
2 つの基本的な指示を個別には完了できるモデルが、それらを 1 つの長い指示にまとめると失敗した。
摂動は標準スコアが隠している差異を明らかにする。libero-goal での位置変更の下で、pi0.5 は 0.38 の成功率を保つが、OpenVLA と pi0 は 0 である。

主な結果

元の LIBERO スイートでは 3 つのモデルの平均成功率は 0.82–0.99 であるが、位置の摂動の下では OpenVLA と pi0 は 4 つのスイートすべてで 0.00 となる。
タスクの摂動の下では、3 つのモデルはすべてのスイート（libero-goal、libero-spatial、libero-10、libero-object）で 0.00–0.01 となる。
pi0.5 は位置変更の下でもある程度の成功を保つ：0.38（libero-goal）、0.20（libero-spatial）、0.17（libero-object）、0.08（libero-10）。
物体属性と言い換えの摂動ではスコアはほとんど変わらない（例：libero-goal での OpenVLA は元 0.98、物体 0.96、意味 0.98）。著者はこれを頑健性ではなく過学習によるものとしている。
環境の変更が各モデルに与える影響は一様ではない。OpenVLA は libero-object で 0.00 に低下し、pi0 はスイート全体で 0.27–0.60、pi0.5 は 0.46–0.73 である。
物体の変位が 0.2 単位を超えると OpenVLA と pi0 の成功率はゼロに落ちるが、pi0.5 は 0.4 単位まで無視できない成功率を保つ。

制限事項

論文には限界に関する専用の節がない。
評価されたのは 3 つのモデルのみであり（OpenVLA はスイートごとに 1 つ、計 4 つのチェックポイント、pi0 と pi0.5 は各 1 つのチェックポイント）、タスクごとに 50 エピソードである。
評価はすべて LIBERO のシミュレーション内で行われており、実機ロボットでのテストは報告されていない。
いくつかの知見（物体の入れ替え後の軌道再生、無意味な指示、組み合わせタスク）は、集計統計ではなく、選ばれたタスクでの定性的な例によって示されている。
変位の大きさはシミュレータの「単位」で報告されており、物理的なスケールは示されていない。

分野への影響

被引用数は 253。著者はベンチマークのコードを github.com/Zxy-MLlab/LIBERO-PRO で公開している。

概要

LIBERO は Vision-Language-Action（VLA）モデルを評価するためのベンチマークとして広く採用されるようになったが、現在の学習・評価設定には問題があり、性能の過大評価につながることが多く、公平なモデル比較を妨げている。これらの問題に対処するため、我々は LIBERO-PRO を導入する。これは LIBERO を拡張したベンチマークであり、操作対象物体、初期状態、タスク指示、環境という 4 つの次元にわたる妥当な摂動の下で、モデルの性能を体系的に評価する。実験結果から、既存モデルは標準の LIBERO 評価では 90% を超える精度を達成するものの、我々の汎化設定の下ではその性能が 0.0% にまで崩壊することが明らかになった。重要なのは、この食い違いが、モデルが真のタスク理解や環境知覚ではなく、学習セットの行動系列と環境レイアウトの丸暗記に依存していることを露呈している点である。例えば、対象物体が無関係な物に置き換えられてもモデルは把持動作を実行し続け、破損した指示や、さらには乱雑なトークンを与えられても出力は変わらない。これらの知見は現在の評価慣行の深刻な欠陥を明らかにするものであり、我々はコミュニティに対し、誤解を招く方法論を捨て、モデルの汎化と理解の頑健な評価へと移行するよう呼びかける。コードは https://github.com/Zxy-MLlab/LIBERO-PRO で公開している。

リンク

arXiv 2510.03827: https://arxiv.org/abs/2510.03827
DOI https://doi.org/10.48550/arxiv.2510.03827: https://doi.org/https://doi.org/10.48550/arxiv.2510.03827
PDF: https://arxiv.org/pdf/2510.03827v1
コード: https://github.com/Zxy-MLlab/LIBERO-PRO