Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

Auteurs: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Le réglage fin d'OpenVLA sur des actions robotiques fait s'effondrer ses représentations visuelles ; aligner les caractéristiques de la couche 16 sur un enseignant C-RADIOv3 figé améliore la réussite OOD dans Simpler, par ex. Carrot 0,49 → 0,61.

Pourquoi c'est important

La méthode n'ajoute au réglage fin standard que des caractéristiques d'enseignant précalculées et un terme de perte ; une équipe qui adapte un VLA pré-entraîné à son propre robot avec peu de données peut donc l'essayer sans modifier le modèle. L'étude montre aussi que figer l'encodeur visuel pendant le réglage fin n'est pas un raccourci sûr : cette référence a échoué presque complètement.

Problème

On attend des VLA qu'ils héritent des connaissances vision-langage de leurs VLM pré-entraînés, mais un réglage fin supervisé spécifique à la tâche sur des données robotiques limitées peut les éroder. Les auteurs constatent que l'attention d'OpenVLA devient diffuse, que ses plongements d'objets s'effondrent en groupes qui se chevauchent et qu'il obtient un score inférieur à son modèle de base PrismaticVLM dans la plupart des domaines d'une nouvelle suite de diagnostic.

Solution proposée

Visual Representation Alignment ajoute un régulariseur au réglage fin LoRA : les états cachés des tokens visuels issus d'une couche intermédiaire du backbone (couche 16) d'OpenVLA passent par un projecteur MLP figé et sont rapprochés des caractéristiques de patchs d'un enseignant C-RADIOv3 figé par une perte de similarité cosinus pondérée par λ = 0,2. L'article introduit aussi VL-Think, huit tâches de sélection sur tableau dans Simpler avec un bras WidowX-250S, qui isolent la compréhension vision-langage de la difficulté de commande.

Idées clés

• Le réglage fin naïf sur les actions provoque dans OpenVLA des puits d'attention (attention sink) et un effondrement des représentations par rapport à son VLM de base.
• L'oubli dépend du domaine : OpenVLA-7B passe sous PrismaticVLM pour les flèches (0,26 contre 0,47), les panneaux d'information publique (0,24 contre 0,62), les panneaux de signalisation et les icônes météo, mais conserve la couleur (0,69 contre 0,69).
• Aligner les couches intermédiaires du backbone sur l'enseignant (Backbone2Enc) fait mieux qu'aligner l'encodeur visuel propre au VLA (Enc2Enc), ce qui situe la dégradation dans les couches de fusion vision-langage.
• Un projecteur figé fonctionne le mieux ; un projecteur entraînable permet au modèle de réduire la perte d'alignement à l'intérieur du projecteur au lieu de modifier ses propres représentations.
• Figer l'encodeur visuel pendant le réglage fin a donné une réussite quasi nulle (0,01–0,05) dans tous les environnements.

Principaux résultats

• OOD sémantique, SFT → Align (128 graines) : Carrot 0,49 → 0,61, Instruct 0,74 → 0,83, MultiCarrot 0,28 → 0,35, MultiPlate 0,43 → 0,49.
• OOD visuel : VisionImg 0,81 → 0,86, Tex05 0,55 → 0,67, Whole03 0,71 → 0,79 (0,80 dans les tableaux de l'annexe).
• OOD d'exécution : Position 0,43 → 0,58 et EEPose 0,34 → 0,38, mais PosChangeTo 0,23 → 0,20.
• Sonde linéaire sur ImageNet-100 : OpenVLA SFT 77,48 %, OpenVLA pré-entraîné 79,88 %, OpenVLA Align 82,13 %, enseignant C-RADIOv3 87,31 %.
• VL-Think : l'alignement fait passer Color de 0,69 à 0,82 et Shape de 0,40 à 0,48, la plupart des autres domaines restant à peu près inchangés.
• Ablation de l'enseignant (moyennes Semantic / Vision / Execution) : C-RADIOv3 0,61 / 0,72 / 0,39, DINOv2 0,57 / 0,69 / 0,37, Theia 0,56 / 0,67 / 0,36, SigLIP 0,54 / 0,65 / 0,35.

Limites

• Les auteurs indiquent qu'en raison de contraintes de calcul, l'étude ne couvre que le réglage fin, et non un pré-entraînement à pleine échelle.
• Les auteurs notent que l'alignement n'inverse que partiellement l'oubli propre à chaque domaine sur VL-Think, ce qu'ils attribuent à la taille et à la diversité modestes de l'ensemble de réglage fin et à l'expressivité limitée des mises à jour LoRA.
• Toutes les expériences sont menées en simulation (environnements fondés sur Simpler avec un bras WidowX-250S) et utilisent un seul modèle, OpenVLA-7B ; il n'y a aucun test sur robot réel.
• Les gains sur l'axe d'exécution sont faibles, PosChangeTo baisse légèrement, et plusieurs comparaisons d'ablation ne sont pas statistiquement significatives (p > 0.05).

Impact sur le domaine

Sur Hugging Face Daily Papers, il a recueilli 107 votes positifs, se classant dans les 5 % supérieurs des articles de robotique de ce site sur les six derniers mois. L'article indique que son code est accessible publiquement via blind-vla-paper.github.io et introduit la suite de diagnostic VL-Think.

Résumé

Le succès croissant des modèles Vision-Langage-Action (VLA) découle de la promesse que des modèles Vision-Langage (VLM) pré-entraînés puissent doter les agents de connaissances transférables sur le monde et d'un ancrage vision-langage (VL), posant ainsi les bases de modèles d'action à la généralisation plus large. Pourtant, lorsque ces VLM sont adaptés à la modalité action, on ne sait toujours pas dans quelle mesure leurs représentations et connaissances VL d'origine sont préservées. Dans ce travail, nous menons une étude systématique de la rétention des représentations pendant le réglage fin des VLA, montrant qu'un réglage fin naïf sur les actions entraîne une dégradation des représentations visuelles. Pour caractériser et mesurer ces effets, nous sondons les représentations cachées du VLA et analysons les cartes d'attention ; en outre, nous concevons un ensemble de tâches et de méthodes ciblées qui comparent les modèles VLA à leurs VLM correspondants, isolant les changements de capacités VL induits par le réglage fin sur les actions. Nous évaluons ensuite un éventail de stratégies d'alignement des représentations visuelles et introduisons une méthode simple mais efficace qui atténue la dégradation et améliore la généralisation à des scénarios hors distribution (OOD). Dans l'ensemble, notre analyse clarifie le compromis entre le réglage fin sur les actions et la dégradation des représentations VL, et met en avant des approches pratiques pour récupérer les capacités VL héritées. Le code est accessible publiquement : blind-vla-paper.github.io

Liens

• arXiv 2510.25616: https://arxiv.org/abs/2510.25616
• PDF: https://arxiv.org/pdf/2510.25616v1
• Page du projet: https://blind-vla-paper.github.io/