Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

Autores: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

El ajuste fino de OpenVLA con acciones de robot colapsa sus representaciones visuales; alinear las características de la capa 16 con un profesor C-RADIOv3 congelado eleva el éxito OOD en Simpler, p. ej. Carrot 0,49 → 0,61.

Por qué importa

El método añade al ajuste fino estándar solo características del profesor precalculadas y un término de pérdida, de modo que un equipo que adapte un VLA preentrenado a su propio robot con pocos datos puede probarlo sin cambiar el modelo. El estudio también muestra que congelar el codificador visual durante el ajuste fino no es un atajo seguro: ese método de referencia falló casi por completo.

Problema

Se espera que los VLA hereden el conocimiento visión-lenguaje de sus VLM preentrenados, pero el ajuste fino supervisado específico de la tarea con datos de robot limitados puede erosionarlo. Los autores constatan que la atención de OpenVLA se vuelve difusa, sus embeddings de objetos colapsan en clústeres superpuestos y puntúa por debajo de su PrismaticVLM base en la mayoría de los dominios de un nuevo conjunto de diagnóstico.

Solución propuesta

Visual Representation Alignment añade un regularizador al ajuste fino con LoRA: los estados ocultos de los tokens visuales de una capa intermedia de la red troncal (capa 16) de OpenVLA pasan por un proyector MLP congelado y se acercan a las características de parche de un profesor C-RADIOv3 congelado con una pérdida de similitud coseno ponderada por λ = 0,2. El artículo también presenta VL-Think, ocho tareas de selección en tablero en Simpler con un brazo WidowX-250S que aíslan la comprensión visión-lenguaje de la dificultad de control.

Ideas clave

• El ajuste fino ingenuo con acciones provoca sumidero de atención (attention sink) y colapso de representaciones en OpenVLA en comparación con su VLM base.
• El olvido es específico de cada dominio: OpenVLA-7B queda por debajo de PrismaticVLM en flechas (0,26 frente a 0,47), señales de información pública (0,24 frente a 0,62), señales de tráfico e iconos meteorológicos, pero mantiene el color (0,69 frente a 0,69).
• Alinear las capas intermedias de la red troncal con el profesor (Backbone2Enc) supera a alinear el propio codificador visual del VLA (Enc2Enc), lo que sitúa la degradación en las capas de fusión visión-lenguaje.
• Un proyector congelado funciona mejor; uno entrenable permite al modelo reducir la pérdida de alineación dentro del proyector en lugar de cambiar sus propias representaciones.
• Congelar el codificador visual durante el ajuste fino dio un éxito casi nulo (0,01–0,05) en todos los entornos.

Resultados principales

• OOD semántico, SFT → Align (128 semillas): Carrot 0,49 → 0,61, Instruct 0,74 → 0,83, MultiCarrot 0,28 → 0,35, MultiPlate 0,43 → 0,49.
• OOD visual: VisionImg 0,81 → 0,86, Tex05 0,55 → 0,67, Whole03 0,71 → 0,79 (0,80 en las tablas del apéndice).
• OOD de ejecución: Position 0,43 → 0,58 y EEPose 0,34 → 0,38, pero PosChangeTo 0,23 → 0,20.
• Sonda lineal en ImageNet-100: OpenVLA SFT 77,48 %, OpenVLA preentrenado 79,88 %, OpenVLA Align 82,13 %, profesor C-RADIOv3 87,31 %.
• VL-Think: la alineación eleva Color de 0,69 a 0,82 y Shape de 0,40 a 0,48, y deja la mayoría de los demás dominios prácticamente sin cambios.
• Ablación del profesor (media Semántico / Visual / Ejecución): C-RADIOv3 0,61 / 0,72 / 0,39, DINOv2 0,57 / 0,69 / 0,37, Theia 0,56 / 0,67 / 0,36, SigLIP 0,54 / 0,65 / 0,35.

Limitaciones

• Los autores afirman que, por limitaciones de cómputo, el estudio cubre solo el ajuste fino, no el preentrenamiento a escala completa.
• Los autores señalan que la alineación solo revierte en parte el olvido por dominio en VL-Think, lo que atribuyen al tamaño y la diversidad modestos del conjunto de ajuste fino y a la expresividad limitada de las actualizaciones LoRA.
• Todos los experimentos son en simulación (entornos basados en Simpler con un brazo WidowX-250S) y usan un solo modelo, OpenVLA-7B; no hay pruebas con un robot real.
• Las ganancias en el eje de ejecución son pequeñas, PosChangeTo baja ligeramente y varias comparaciones de ablación no son estadísticamente significativas (p > 0.05).

Impacto en el campo

En Hugging Face daily papers obtuvo 107 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El artículo indica que su código está disponible públicamente en blind-vla-paper.github.io y presenta el conjunto de diagnóstico VL-Think.

Resumen

El creciente éxito de los modelos Visión-Lenguaje-Acción (VLA) se debe a la promesa de que los modelos de visión-lenguaje (VLM) preentrenados pueden dotar a los agentes de conocimiento del mundo transferible y de anclaje visión-lenguaje (VL), sentando una base para modelos de acción con una generalización más amplia. Sin embargo, cuando estos VLM se adaptan a la modalidad de acción, sigue sin estar claro en qué medida se conservan sus representaciones y conocimientos VL originales. En este trabajo realizamos un estudio sistemático de la retención de representaciones durante el ajuste fino de VLA y mostramos que el ajuste fino ingenuo con acciones conduce a una degradación de las representaciones visuales. Para caracterizar y medir estos efectos, sondeamos las representaciones ocultas del VLA y analizamos los mapas de atención; además, diseñamos un conjunto de tareas y métodos específicos que contrastan los modelos VLA con sus VLM correspondientes, aislando los cambios en las capacidades VL inducidos por el ajuste fino con acciones. Evaluamos además una serie de estrategias para alinear las representaciones visuales e introducimos un método simple pero eficaz que mitiga la degradación y da lugar a una mejor generalización a escenarios fuera de distribución (OOD). En conjunto, nuestro análisis aclara el compromiso entre el ajuste fino con acciones y la degradación de las representaciones VL y destaca enfoques prácticos para recuperar las capacidades VL heredadas. El código está disponible públicamente: blind-vla-paper.github.io

Enlaces

• arXiv 2510.25616: https://arxiv.org/abs/2510.25616
• PDF: https://arxiv.org/pdf/2510.25616v1
• Página del proyecto: https://blind-vla-paper.github.io/