Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

Autoren: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Fine-Tuning von OpenVLA auf Roboteraktionen lässt seine visuellen Repräsentationen kollabieren; die Ausrichtung der Merkmale von Schicht 16 an einem eingefrorenen C-RADIOv3-Lehrer erhöht den OOD-Erfolg in Simpler, z. B. Carrot 0,49 → 0,61.

Warum es wichtig ist

Die Methode fügt dem Standard-Fine-Tuning nur vorberechnete Lehrermerkmale und einen Verlustterm hinzu, sodass ein Team, das ein vortrainiertes VLA mit wenig Daten an den eigenen Roboter anpasst, sie ausprobieren kann, ohne das Modell zu ändern. Die Studie zeigt außerdem, dass das Einfrieren des Vision-Encoders beim Fine-Tuning keine sichere Abkürzung ist: Diese Baseline scheiterte fast vollständig.

Problem

Von VLAs wird erwartet, dass sie Vision-Language-Wissen von ihren vortrainierten VLMs erben, doch aufgabenspezifisches überwachtes Fine-Tuning auf begrenzten Roboterdaten kann es aushöhlen. Die Autoren stellen fest, dass die Attention von OpenVLA diffus wird, seine Objekt-Embeddings zu überlappenden Clustern kollabieren und es in den meisten Domänen einer neuen Diagnose-Suite schlechter abschneidet als sein Basismodell PrismaticVLM.

Lösungsansatz

Visual Representation Alignment ergänzt das LoRA-Fine-Tuning um einen Regularisierer: Verborgene Zustände der Vision-Tokens aus einer mittleren Backbone-Schicht (Schicht 16) von OpenVLA durchlaufen einen eingefrorenen MLP-Projektor und werden mit einem Kosinusähnlichkeitsverlust, gewichtet mit λ = 0,2, zu den Patch-Merkmalen eines eingefrorenen C-RADIOv3-Lehrers hingezogen. Die Arbeit führt außerdem VL-Think ein, acht Brett-Auswahlaufgaben in Simpler mit einem WidowX-250S-Arm, die Vision-Language-Verständnis von der Schwierigkeit der Steuerung trennen.

Wichtigste Erkenntnisse

Naives Fine-Tuning auf Aktionen verursacht in OpenVLA im Vergleich zu seinem Basis-VLM Attention Sinks und einen Kollaps der Repräsentationen.
Das Vergessen ist domänenspezifisch: OpenVLA-7B fällt bei Pfeilen (0,26 gegenüber 0,47), Schildern mit öffentlichen Informationen (0,24 gegenüber 0,62), Verkehrszeichen und Wettersymbolen unter PrismaticVLM, behält aber Farbe (0,69 gegenüber 0,69).
Die Ausrichtung mittlerer Backbone-Schichten am Lehrer (Backbone2Enc) schlägt die Ausrichtung des eigenen Vision-Encoders des VLA (Enc2Enc), was die Verschlechterung in den Vision-Language-Fusionsschichten verortet.
Ein eingefrorener Projektor funktioniert am besten; ein trainierbarer erlaubt es dem Modell, den Ausrichtungsverlust im Projektor zu senken, statt seine eigenen Repräsentationen zu ändern.
Das Einfrieren des visuellen Encoders beim Fine-Tuning ergab in jeder Umgebung einen Erfolg nahe null (0,01–0,05).

Hauptergebnisse

Semantische OOD, SFT → Align (128 Seeds): Carrot 0,49 → 0,61, Instruct 0,74 → 0,83, MultiCarrot 0,28 → 0,35, MultiPlate 0,43 → 0,49.
Visuelle OOD: VisionImg 0,81 → 0,86, Tex05 0,55 → 0,67, Whole03 0,71 → 0,79 (0,80 in den Tabellen des Anhangs).
Ausführungs-OOD: Position 0,43 → 0,58 und EEPose 0,34 → 0,38, aber PosChangeTo 0,23 → 0,20.
Linearer Probe auf ImageNet-100: OpenVLA SFT 77,48 %, vortrainiertes OpenVLA 79,88 %, OpenVLA Align 82,13 %, C-RADIOv3-Lehrer 87,31 %.
VL-Think: Die Ausrichtung erhöht Color von 0,69 auf 0,82 und Shape von 0,40 auf 0,48, während die meisten anderen Domänen in etwa unverändert bleiben.
Ablation des Lehrers (Mittelwerte Semantic / Vision / Execution): C-RADIOv3 0,61 / 0,72 / 0,39, DINOv2 0,57 / 0,69 / 0,37, Theia 0,56 / 0,67 / 0,36, SigLIP 0,54 / 0,65 / 0,35.

Einschränkungen

Die Autoren geben an, dass die Studie wegen begrenzter Rechenressourcen nur das Fine-Tuning abdeckt, nicht das Vortraining in vollem Umfang.
Die Autoren merken an, dass die Ausrichtung das domänenspezifische Vergessen auf VL-Think nur teilweise rückgängig macht, was sie auf die bescheidene Größe und Vielfalt des Fine-Tuning-Datensatzes und die begrenzte Ausdrucksstärke von LoRA-Updates zurückführen.
Alle Experimente finden in der Simulation statt (Simpler-basierte Umgebungen mit einem WidowX-250S-Arm) und verwenden ein einziges Modell, OpenVLA-7B; es gibt keinen Test mit einem realen Roboter.
Die Gewinne auf der Ausführungsachse sind klein, PosChangeTo sinkt leicht, und mehrere Ablationsvergleiche sind statistisch nicht signifikant (p > 0.05).

Wirkung auf das Fachgebiet

Bei Hugging Face Daily Papers erhielt die Arbeit 107 Upvotes und gehört damit zu den besten 5 % der dortigen Robotik-Papers der letzten sechs Monate. Laut der Arbeit ist ihr Code über blind-vla-paper.github.io öffentlich verfügbar, und sie führt die Diagnose-Suite VL-Think ein.

Zusammenfassung

Der wachsende Erfolg von Vision-Language-Action-Modellen (VLA) beruht auf dem Versprechen, dass vortrainierte Vision-Language-Modelle (VLMs) Agenten mit übertragbarem Weltwissen und Vision-Language-Grounding (VL-Grounding) ausstatten und so eine Grundlage für Aktionsmodelle mit breiterer Generalisierung legen können. Werden diese VLMs jedoch an die Aktionsmodalität angepasst, bleibt unklar, in welchem Maße ihre ursprünglichen VL-Repräsentationen und ihr Wissen erhalten bleiben. In dieser Arbeit führen wir eine systematische Studie zum Erhalt von Repräsentationen während des VLA-Fine-Tunings durch und zeigen, dass naives Fine-Tuning auf Aktionen zu einer Verschlechterung der visuellen Repräsentationen führt. Um diese Effekte zu charakterisieren und zu messen, untersuchen wir die verborgenen Repräsentationen des VLA mit Probes und analysieren Attention-Maps; darüber hinaus entwerfen wir eine Reihe gezielter Aufgaben und Methoden, die VLA-Modelle ihren entsprechenden VLMs gegenüberstellen und so die durch das Fine-Tuning auf Aktionen verursachten Änderungen der VL-Fähigkeiten isolieren. Weiter evaluieren wir eine Reihe von Strategien zur Ausrichtung visueller Repräsentationen und stellen eine einfache, aber wirksame Methode vor, die die Verschlechterung abmildert und eine bessere Generalisierung auf Out-of-Distribution-Szenarien (OOD) ergibt. Zusammengenommen klärt unsere Analyse den Zielkonflikt zwischen dem Fine-Tuning auf Aktionen und der Verschlechterung der VL-Repräsentationen und zeigt praktische Ansätze auf, um ererbte VL-Fähigkeiten wiederherzustellen. Der Code ist öffentlich verfügbar: blind-vla-paper.github.io

Open Source Robotics