LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Autores: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun · arXiv preprint 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O LIBERO-PRO perturba os objetos, as posições iniciais, as instruções e as cenas do LIBERO. OpenVLA, pi0 e pi0.5 caem de 82–99 % para perto de 0 % sob mudanças de posição e de tarefa.

Por que importa

Equipes que escolhem ou constroem uma política VLA muitas vezes se baseiam nas pontuações do LIBERO, e este artigo mostra que essas pontuações podem esconder falha total quando um objeto é movido ou a instrução muda. Ele oferece aos engenheiros um conjunto de testes pronto para verificar se uma política realmente usa a cena e a instrução antes de confiar nela em um robô.

Problema

O LIBERO é o benchmark mais relatado para modelos vision-language-action (VLA), mas suas tarefas de avaliação são as mesmas que as de treinamento, diferindo apenas por mudanças quase invisíveis nos estados iniciais dos objetos. Um modelo com sobreajuste pode, portanto, pontuar acima de 90 % sem entender a cena nem a instrução, o que infla os resultados e torna pouco confiáveis as comparações entre modelos.

Solução proposta

O LIBERO-PRO é uma extensão plug-and-play do LIBERO que aplica perturbações controladas em quatro dimensões: atributos dos objetos (novos assets com aparência, tamanho ou cor alterados), posições iniciais (regiões alternativas que respeitam restrições físicas), instruções (três paráfrases por tarefa mais tarefas redesenhadas construídas a partir de objetos e ações do treinamento) e ambientes (troca entre os cinco tipos de cena do LIBERO). As perturbações podem ser combinadas aleatoriamente, exceto as mudanças de tarefa, que são mantidas separadas para evitar combinações sem sentido.

Principais ideias

As tarefas de teste padrão do LIBERO diferem das tarefas de treinamento apenas por pequenas mudanças no estado inicial, então trajetórias memorizadas podem obter pontuações altas.
Os modelos repetem quase a mesma trajetória quando o objeto-alvo é substituído por um sem relação, movido ou removido, e quando a instrução é substituída por tokens sem sentido como 'xxx'.
A aparente robustez a instruções parafraseadas não é evidência de compreensão da linguagem, porque os mesmos modelos também ignoram instruções sem sentido.
Um modelo que conclui duas instruções atômicas separadamente falhou quando elas foram combinadas em uma única instrução mais longa.
As perturbações revelam diferenças que as pontuações padrão escondem: o pi0.5 mantém 0,38 de sucesso sob mudanças de posição no libero-goal, onde OpenVLA e pi0 marcam 0.

Principais resultados

Nas suítes originais do LIBERO, os três modelos têm média de 0,82–0,99 de sucesso; sob perturbações de posição, OpenVLA e pi0 marcam 0,00 nas quatro suítes.
Sob perturbações de tarefa, os três modelos marcam 0,00–0,01 em todas as suítes (libero-goal, libero-spatial, libero-10, libero-object).
O pi0.5 mantém algum sucesso sob mudanças de posição: 0,38 (libero-goal), 0,20 (libero-spatial), 0,17 (libero-object) e 0,08 (libero-10).
Perturbações de atributos de objetos e de paráfrase quase não alteram as pontuações (por exemplo, OpenVLA no libero-goal: 0,98 original, 0,96 objetos, 0,98 semântica), o que os autores atribuem ao sobreajuste, não à robustez.
As mudanças de ambiente afetam os modelos de forma desigual: o OpenVLA cai para 0,00 no libero-object, o pi0 marca 0,27–0,60 e o pi0.5 0,46–0,73 entre as suítes.
OpenVLA e pi0 caem para sucesso zero quando o deslocamento do objeto passa de 0,2 unidade; o pi0.5 mantém sucesso não trivial até 0,4 unidade.

Limitações

O artigo não tem uma seção dedicada às limitações.
Apenas três modelos são avaliados (OpenVLA com quatro checkpoints, um por suíte, e pi0 e pi0.5 com um checkpoint cada), com 50 episódios por tarefa.
Toda a avaliação é feita em simulação no LIBERO; nenhum teste com robô real é relatado.
Várias descobertas (repetição de trajetória após troca de objetos, instruções sem sentido, tarefas compostas) são mostradas por exemplos qualitativos em tarefas selecionadas, e não por estatísticas agregadas.
As magnitudes de deslocamento são informadas em 'unidades' do simulador, sem uma escala física declarada.

Impacto na área

253 citações. Os autores disponibilizam o código do benchmark em github.com/Zxy-MLlab/LIBERO-PRO.

Resumo

O LIBERO tornou-se um benchmark amplamente adotado para avaliar modelos Vision-Language-Action (VLA); no entanto, suas configurações atuais de treinamento e avaliação são problemáticas, muitas vezes levando a estimativas de desempenho infladas e impedindo uma comparação justa entre modelos. Para resolver esses problemas, apresentamos o LIBERO-PRO, um benchmark LIBERO estendido que avalia sistematicamente o desempenho dos modelos sob perturbações razoáveis em quatro dimensões: objetos manipulados, estados iniciais, instruções da tarefa e ambientes. Os resultados experimentais revelam que, embora os modelos existentes alcancem mais de 90 % de acurácia na avaliação padrão do LIBERO, seu desempenho despenca para 0,0 % em nossa configuração generalizada. De forma crucial, essa discrepância expõe a dependência dos modelos em relação à memorização mecânica de sequências de ações e de layouts de ambiente do conjunto de treinamento, e não a uma compreensão genuína da tarefa ou à percepção do ambiente. Por exemplo, os modelos continuam executando ações de preensão quando o objeto-alvo é substituído por itens irrelevantes, e suas saídas permanecem inalteradas mesmo quando recebem instruções corrompidas ou até tokens embaralhados. Essas descobertas expõem as graves falhas das práticas de avaliação atuais, e convocamos a comunidade a abandonar metodologias enganosas em favor de avaliações robustas da generalização e da compreensão dos modelos. Nosso código está disponível em: https://github.com/Zxy-MLlab/LIBERO-PRO.

Open Source Robotics