Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

Autores: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O ajuste fino do OpenVLA com ações de robô colapsa suas representações visuais; alinhar as características da camada 16 a um professor C-RADIOv3 congelado eleva o sucesso OOD no Simpler, por exemplo Carrot 0,49 → 0,61.

Por que importa

O método acrescenta ao ajuste fino padrão apenas características do professor pré-calculadas e um termo de perda, de modo que uma equipe que adapte um VLA pré-treinado ao próprio robô com poucos dados pode testá-lo sem mudar o modelo. O estudo também mostra que congelar o codificador visual durante o ajuste fino não é um atalho seguro: essa referência falhou quase completamente.

Problema

Espera-se que os VLAs herdem o conhecimento visão-linguagem de seus VLMs pré-treinados, mas o ajuste fino supervisionado específico da tarefa com dados de robô limitados pode corroê-lo. Os autores constatam que a atenção do OpenVLA se torna difusa, seus embeddings de objetos colapsam em clusters sobrepostos e ele pontua abaixo de seu PrismaticVLM base na maioria dos domínios de um novo conjunto de diagnóstico.

Solução proposta

O Visual Representation Alignment acrescenta um regularizador ao ajuste fino com LoRA: os estados ocultos dos tokens visuais de uma camada intermediária do backbone (camada 16) do OpenVLA passam por um projetor MLP congelado e são aproximados das características de patch de um professor C-RADIOv3 congelado com uma perda de similaridade de cosseno ponderada por λ = 0,2. O artigo também apresenta o VL-Think, oito tarefas de seleção em tabuleiro no Simpler com um braço WidowX-250S que isolam a compreensão visão-linguagem da dificuldade de controle.

Principais ideias

O ajuste fino ingênuo com ações causa sumidouro de atenção (attention sink) e colapso de representações no OpenVLA em comparação com seu VLM base.
O esquecimento é específico de cada domínio: o OpenVLA-7B fica abaixo do PrismaticVLM em setas (0,26 vs 0,47), placas de informação pública (0,24 vs 0,62), placas de trânsito e ícones de clima, mas mantém a cor (0,69 vs 0,69).
Alinhar camadas intermediárias do backbone ao professor (Backbone2Enc) supera alinhar o próprio codificador visual do VLA (Enc2Enc), o que situa a degradação nas camadas de fusão visão-linguagem.
Um projetor congelado funciona melhor; um treinável permite ao modelo reduzir a perda de alinhamento dentro do projetor em vez de mudar suas próprias representações.
Congelar o codificador visual durante o ajuste fino deu sucesso quase nulo (0,01–0,05) em todos os ambientes.

Principais resultados

OOD semântico, SFT → Align (128 sementes): Carrot 0,49 → 0,61, Instruct 0,74 → 0,83, MultiCarrot 0,28 → 0,35, MultiPlate 0,43 → 0,49.
OOD visual: VisionImg 0,81 → 0,86, Tex05 0,55 → 0,67, Whole03 0,71 → 0,79 (0,80 nas tabelas do apêndice).
OOD de execução: Position 0,43 → 0,58 e EEPose 0,34 → 0,38, mas PosChangeTo 0,23 → 0,20.
Sonda linear no ImageNet-100: OpenVLA SFT 77,48%, OpenVLA pré-treinado 79,88%, OpenVLA Align 82,13%, professor C-RADIOv3 87,31%.
VL-Think: o alinhamento eleva Color de 0,69 para 0,82 e Shape de 0,40 para 0,48, deixando a maioria dos outros domínios praticamente inalterada.
Ablação do professor (média Semântico / Visual / Execução): C-RADIOv3 0,61 / 0,72 / 0,39, DINOv2 0,57 / 0,69 / 0,37, Theia 0,56 / 0,67 / 0,36, SigLIP 0,54 / 0,65 / 0,35.

Limitações

Os autores afirmam que, devido a restrições de computação, o estudo cobre apenas o ajuste fino, não o pré-treinamento em escala completa.
Os autores observam que o alinhamento só reverte parcialmente o esquecimento por domínio no VL-Think, o que atribuem ao tamanho e à diversidade modestos do conjunto de ajuste fino e à expressividade limitada das atualizações LoRA.
Todos os experimentos são em simulação (ambientes baseados no Simpler com um braço WidowX-250S) e usam um único modelo, o OpenVLA-7B; não há teste com robô real.
Os ganhos no eixo de execução são pequenos, PosChangeTo cai ligeiramente e várias comparações de ablação não são estatisticamente significativas (p > 0.05).

Impacto na área

No Hugging Face daily papers, recebeu 107 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O artigo informa que seu código está disponível publicamente em blind-vla-paper.github.io e apresenta o conjunto de diagnóstico VL-Think.

Resumo

O sucesso crescente dos modelos Vision-Language-Action (VLA) decorre da promessa de que modelos de visão-linguagem (VLMs) pré-treinados podem dotar agentes de conhecimento de mundo transferível e de ancoramento visão-linguagem (VL), lançando a base para modelos de ação com generalização mais ampla. Contudo, quando esses VLMs são adaptados à modalidade de ação, continua incerto em que medida suas representações e conhecimentos VL originais são preservados. Neste trabalho, conduzimos um estudo sistemático da retenção de representações durante o ajuste fino de VLAs, mostrando que o ajuste fino ingênuo com ações leva à degradação das representações visuais. Para caracterizar e medir esses efeitos, sondamos as representações ocultas do VLA e analisamos mapas de atenção; além disso, projetamos um conjunto de tarefas e métodos direcionados que contrastam modelos VLA com seus VLMs correspondentes, isolando as mudanças nas capacidades VL induzidas pelo ajuste fino com ações. Avaliamos ainda uma série de estratégias para alinhar representações visuais e introduzimos um método simples, porém eficaz, que mitiga a degradação e produz melhor generalização para cenários fora da distribuição (OOD). Em conjunto, nossa análise esclarece o compromisso entre o ajuste fino com ações e a degradação das representações VL e destaca abordagens práticas para recuperar as capacidades VL herdadas. O código está disponível publicamente: blind-vla-paper.github.io

Open Source Robotics