Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

作者: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在机器人动作上微调 OpenVLA 会使其视觉表征坍缩；将第 16 层特征与冻结的 C-RADIOv3 教师模型对齐，可提高 Simpler 中的 OOD 成功率，例如 Carrot 从 0.49 → 0.61。

为何重要

该方法只在标准微调中加入预先计算的教师特征和一个损失项，因此用少量数据把预训练 VLA 适配到自己机器人上的团队无需改动模型即可尝试。研究还表明，微调时冻结视觉编码器并不是一条安全的捷径：该基线几乎完全失败。

问题

人们期望 VLA 从其预训练的 VLM 中继承视觉-语言知识，但在有限的机器人数据上进行针对特定任务的监督微调可能会侵蚀这些知识。作者发现，OpenVLA 的注意力变得弥散，其物体嵌入坍缩为相互重叠的簇，并且在一个新诊断套件的大多数领域中得分低于其基础模型 PrismaticVLM。

提出的方法

视觉表征对齐（Visual Representation Alignment）在 LoRA 微调中加入一个正则项：来自 OpenVLA 主干中间层（第 16 层）的视觉 token 隐藏状态经过一个冻结的 MLP 投影器，再通过以 λ = 0.2 加权的余弦相似度损失被拉向冻结的 C-RADIOv3 教师模型的图像块特征。论文还提出了 VL-Think：在 Simpler 中使用 WidowX-250S 机械臂的八个看板选择任务，用于将视觉-语言理解与控制难度分离开来。

关键见解

• 与其基础 VLM 相比，朴素的动作微调会在 OpenVLA 中引起注意力汇聚（attention sink）和表征坍缩。
• 遗忘具有领域特异性：OpenVLA-7B 在箭头（0.26 vs 0.47）、公共信息标志（0.24 vs 0.62）、交通标志和天气图标上低于 PrismaticVLM，但在颜色上保持不变（0.69 vs 0.69）。
• 将主干的中间层与教师模型对齐（Backbone2Enc）优于对齐 VLA 自身的视觉编码器（Enc2Enc），这说明退化发生在视觉-语言融合层。
• 冻结的投影器效果最好；可训练的投影器会让模型在投影器内部降低对齐损失，而不是改变自身的表征。
• 微调时冻结视觉编码器，在所有环境中的成功率都接近零（0.01–0.05）。

主要结果

• 语义 OOD，SFT → Align（128 个随机种子）：Carrot 0.49 → 0.61，Instruct 0.74 → 0.83，MultiCarrot 0.28 → 0.35，MultiPlate 0.43 → 0.49。
• 视觉 OOD：VisionImg 0.81 → 0.86，Tex05 0.55 → 0.67，Whole03 0.71 → 0.79（附录表格中为 0.80）。
• 执行 OOD：Position 0.43 → 0.58，EEPose 0.34 → 0.38，但 PosChangeTo 0.23 → 0.20。
• ImageNet-100 线性探测：OpenVLA SFT 77.48%，预训练 OpenVLA 79.88%，OpenVLA Align 82.13%，C-RADIOv3 教师模型 87.31%。
• VL-Think：对齐使 Color 从 0.69 提高到 0.82，Shape 从 0.40 提高到 0.48，其他大多数领域大致不变。
• 教师模型消融（语义 / 视觉 / 执行的平均值）：C-RADIOv3 0.61 / 0.72 / 0.39，DINOv2 0.57 / 0.69 / 0.37，Theia 0.56 / 0.67 / 0.36，SigLIP 0.54 / 0.65 / 0.35。

局限

• 作者表示，由于算力限制，该研究只涵盖微调，而不包括完整规模的预训练。
• 作者指出，对齐只能部分逆转 VL-Think 上的领域遗忘，他们将其归因于微调数据集的规模和多样性有限，以及 LoRA 更新的表达能力有限。
• 所有实验都在仿真中进行（基于 Simpler、使用 WidowX-250S 机械臂的环境），且只使用一个模型 OpenVLA-7B；没有真实机器人测试。
• 执行维度上的提升很小，PosChangeTo 略有下降，并且若干消融比较不具有统计显著性（p > 0.05）。

对领域的影响

在 Hugging Face 每日论文上获得 107 个赞，位列该平台过去六个月机器人论文的前 5%。论文称其代码可通过 blind-vla-paper.github.io 公开获取，并提出了 VL-Think 诊断套件。

摘要

视觉-语言-动作（VLA）模型日益成功，源于这样一种前景：预训练的视觉语言模型（VLM）可以为智能体赋予可迁移的世界知识和视觉-语言（VL）接地能力，为具有更广泛泛化能力的动作模型奠定基础。然而，当这些 VLM 被适配到动作模态时，其原有的 VL 表征和知识在多大程度上得以保留仍不清楚。在这项工作中，我们对 VLA 微调过程中的表征保留进行了系统研究，表明朴素的动作微调会导致视觉表征退化。为了刻画和度量这些影响，我们探测了 VLA 的隐藏表征并分析了注意力图；此外，我们设计了一组有针对性的任务和方法，将 VLA 模型与其对应的 VLM 进行对比，以分离出由动作微调引起的 VL 能力变化。我们进一步评估了一系列对齐视觉表征的策略，并提出一种简单而有效的方法，可以缓解退化，并在分布外（OOD）场景中带来更好的泛化。综合来看，我们的分析阐明了动作微调与 VL 表征退化之间的权衡，并指出了恢复所继承的 VL 能力的实用方法。代码已公开：blind-vla-paper.github.io

链接

• arXiv 2510.25616: https://arxiv.org/abs/2510.25616
• PDF: https://arxiv.org/pdf/2510.25616v1
• 项目主页: https://blind-vla-paper.github.io/