Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

Autori: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Il fine-tuning di OpenVLA sulle azioni del robot fa collassare le sue rappresentazioni visive; allineare le caratteristiche dello strato 16 a un teacher C-RADIOv3 congelato aumenta il successo OOD in Simpler, ad es. Carrot 0,49 → 0,61.

Perché è importante

Il metodo aggiunge al fine-tuning standard solo caratteristiche del teacher precalcolate e un termine di perdita, quindi un team che adatta un VLA preaddestrato al proprio robot con pochi dati può provarlo senza modificare il modello. Lo studio mostra anche che congelare l'encoder visivo durante il fine-tuning non è una scorciatoia sicura: quel metodo di riferimento è fallito quasi completamente.

Problema

Ci si aspetta che i VLA ereditino la conoscenza visione-linguaggio dai VLM preaddestrati, ma il fine-tuning supervisionato specifico per il compito su dati robotici limitati può eroderla. Gli autori riscontrano che l'attenzione di OpenVLA diventa diffusa, i suoi embedding degli oggetti collassano in cluster sovrapposti e ottiene punteggi inferiori al suo PrismaticVLM di base nella maggior parte dei domini di una nuova suite diagnostica.

Soluzione proposta

Visual Representation Alignment aggiunge un regolarizzatore al fine-tuning con LoRA: gli stati nascosti dei token visivi di uno strato intermedio del backbone (strato 16) di OpenVLA passano attraverso un proiettore MLP congelato e vengono avvicinati alle caratteristiche di patch di un teacher C-RADIOv3 congelato con una perdita di similarità del coseno pesata con λ = 0,2. L'articolo introduce anche VL-Think, otto compiti di selezione su tabellone in Simpler con un braccio WidowX-250S che isolano la comprensione visione-linguaggio dalla difficoltà di controllo.

Idee chiave

• Un fine-tuning ingenuo sulle azioni provoca attention sink e collasso delle rappresentazioni in OpenVLA rispetto al suo VLM di base.
• L'oblio è specifico per dominio: OpenVLA-7B scende sotto PrismaticVLM su frecce (0,26 contro 0,47), segnali di informazione pubblica (0,24 contro 0,62), segnali stradali e icone meteo, ma mantiene il colore (0,69 contro 0,69).
• Allineare gli strati intermedi del backbone al teacher (Backbone2Enc) batte l'allineamento dell'encoder visivo del VLA stesso (Enc2Enc), il che colloca il degrado negli strati di fusione visione-linguaggio.
• Un proiettore congelato funziona meglio; uno addestrabile permette al modello di ridurre la perdita di allineamento all'interno del proiettore anziché cambiare le proprie rappresentazioni.
• Congelare l'encoder visivo durante il fine-tuning ha dato un successo quasi nullo (0,01–0,05) in tutti gli ambienti.

Risultati principali

• OOD semantico, SFT → Align (128 seed): Carrot 0,49 → 0,61, Instruct 0,74 → 0,83, MultiCarrot 0,28 → 0,35, MultiPlate 0,43 → 0,49.
• OOD visivo: VisionImg 0,81 → 0,86, Tex05 0,55 → 0,67, Whole03 0,71 → 0,79 (0,80 nelle tabelle dell'appendice).
• OOD di esecuzione: Position 0,43 → 0,58 ed EEPose 0,34 → 0,38, ma PosChangeTo 0,23 → 0,20.
• Sonda lineare su ImageNet-100: OpenVLA SFT 77,48%, OpenVLA preaddestrato 79,88%, OpenVLA Align 82,13%, teacher C-RADIOv3 87,31%.
• VL-Think: l'allineamento porta Color da 0,69 a 0,82 e Shape da 0,40 a 0,48, lasciando la maggior parte degli altri domini sostanzialmente invariata.
• Ablazione del teacher (media Semantico / Visivo / Esecuzione): C-RADIOv3 0,61 / 0,72 / 0,39, DINOv2 0,57 / 0,69 / 0,37, Theia 0,56 / 0,67 / 0,36, SigLIP 0,54 / 0,65 / 0,35.

Limiti

• Gli autori affermano che, per limiti di calcolo, lo studio copre solo il fine-tuning, non il preaddestramento su scala completa.
• Gli autori osservano che l'allineamento inverte solo in parte l'oblio per dominio su VL-Think, cosa che attribuiscono alle dimensioni e alla diversità modeste dell'insieme di fine-tuning e all'espressività limitata degli aggiornamenti LoRA.
• Tutti gli esperimenti sono in simulazione (ambienti basati su Simpler con un braccio WidowX-250S) e usano un solo modello, OpenVLA-7B; non c'è alcun test su robot reale.
• I guadagni sull'asse di esecuzione sono piccoli, PosChangeTo cala leggermente e diversi confronti di ablazione non sono statisticamente significativi (p > 0.05).

Impatto sul settore

Su Hugging Face daily papers ha ricevuto 107 voti positivi, nel 5% superiore degli articoli di robotica lì presenti negli ultimi sei mesi. L'articolo dichiara che il suo codice è disponibile pubblicamente tramite blind-vla-paper.github.io e introduce la suite diagnostica VL-Think.

Abstract

Il crescente successo dei modelli Vision-Language-Action (VLA) nasce dalla promessa che i modelli Vision-Language (VLM) preaddestrati possano dotare gli agenti di una conoscenza del mondo trasferibile e di un grounding visione-linguaggio (VL), ponendo le basi per modelli d'azione con una generalizzazione più ampia. Tuttavia, quando questi VLM vengono adattati alla modalità d'azione, resta poco chiaro in che misura le loro rappresentazioni e conoscenze VL originali vengano preservate. In questo lavoro conduciamo uno studio sistematico della conservazione delle rappresentazioni durante il fine-tuning dei VLA, mostrando che un fine-tuning ingenuo sulle azioni porta a un degrado delle rappresentazioni visive. Per caratterizzare e misurare questi effetti, sondiamo le rappresentazioni nascoste del VLA e analizziamo le mappe di attenzione; inoltre progettiamo un insieme di compiti e metodi mirati che mettono a confronto i modelli VLA con i VLM corrispondenti, isolando i cambiamenti nelle capacità VL indotti dal fine-tuning sulle azioni. Valutiamo poi una serie di strategie per allineare le rappresentazioni visive e introduciamo un metodo semplice ma efficace che attenua il degrado e porta a una migliore generalizzazione a scenari fuori distribuzione (OOD). Nel complesso, la nostra analisi chiarisce il compromesso tra fine-tuning sulle azioni e degrado delle rappresentazioni VL e mette in evidenza approcci pratici per recuperare le capacità VL ereditate. Il codice è disponibile pubblicamente: blind-vla-paper.github.io

Link

• arXiv 2510.25616: https://arxiv.org/abs/2510.25616
• PDF: https://arxiv.org/pdf/2510.25616v1
• Pagina del progetto: https://blind-vla-paper.github.io/