Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

作者: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

以機器人動作微調 OpenVLA 會使其視覺表徵崩塌；將第 16 層特徵與凍結的 C-RADIOv3 教師模型對齊，可提高 Simpler 中的 OOD 成功率，例如 Carrot 從 0.49 → 0.61。

為何重要

此方法只在標準微調中加入預先計算的教師特徵與一個損失項，因此用少量資料將預訓練 VLA 調適到自家機器人的團隊，不必修改模型就能嘗試。研究也顯示，微調時凍結視覺編碼器並不是安全的捷徑：該基準幾乎完全失敗。

問題

一般預期 VLA 會從其預訓練的 VLM 繼承視覺-語言知識，但在有限的機器人資料上進行任務特定的監督式微調，可能會侵蝕這些知識。作者發現，OpenVLA 的注意力變得分散，其物體嵌入崩塌成相互重疊的群集，並且在一套新診斷工具的大多數領域中得分低於其基礎模型 PrismaticVLM。

提出的方法

視覺表徵對齊（Visual Representation Alignment）在 LoRA 微調中加入一個正則項：來自 OpenVLA 骨幹中間層（第 16 層）的視覺 token 隱藏狀態，經過一個凍結的 MLP 投影器，再以 λ = 0.2 加權的餘弦相似度損失，被拉向凍結的 C-RADIOv3 教師模型的影像區塊特徵。論文也提出 VL-Think：在 Simpler 中使用 WidowX-250S 機器手臂的八個看板選擇任務，用來將視覺-語言理解與控制難度分開。

關鍵見解

與其基礎 VLM 相比，單純的動作微調會在 OpenVLA 中造成注意力匯聚（attention sink）與表徵崩塌。
遺忘具有領域特定性：OpenVLA-7B 在箭頭（0.26 vs 0.47）、公共資訊標誌（0.24 vs 0.62）、交通標誌與天氣圖示上低於 PrismaticVLM，但在顏色上維持不變（0.69 vs 0.69）。
將骨幹的中間層與教師模型對齊（Backbone2Enc），勝過對齊 VLA 自身的視覺編碼器（Enc2Enc），顯示劣化發生在視覺-語言融合層。
凍結的投影器效果最好；可訓練的投影器會讓模型在投影器內部降低對齊損失，而不是改變自身的表徵。
微調時凍結視覺編碼器，在每個環境中的成功率都接近零（0.01–0.05）。

主要結果

語意 OOD，SFT → Align（128 個隨機種子）：Carrot 0.49 → 0.61、Instruct 0.74 → 0.83、MultiCarrot 0.28 → 0.35、MultiPlate 0.43 → 0.49。
視覺 OOD：VisionImg 0.81 → 0.86、Tex05 0.55 → 0.67、Whole03 0.71 → 0.79（附錄表格中為 0.80）。
執行 OOD：Position 0.43 → 0.58、EEPose 0.34 → 0.38，但 PosChangeTo 0.23 → 0.20。
ImageNet-100 線性探測：OpenVLA SFT 77.48%、預訓練 OpenVLA 79.88%、OpenVLA Align 82.13%、C-RADIOv3 教師模型 87.31%。
VL-Think：對齊使 Color 從 0.69 提升到 0.82，Shape 從 0.40 提升到 0.48，其他大多數領域大致不變。
教師模型消融（語意 / 視覺 / 執行的平均值）：C-RADIOv3 0.61 / 0.72 / 0.39、DINOv2 0.57 / 0.69 / 0.37、Theia 0.56 / 0.67 / 0.36、SigLIP 0.54 / 0.65 / 0.35。

限制

作者表示，由於運算資源限制，此研究只涵蓋微調，不包括完整規模的預訓練。
作者指出，對齊只能部分逆轉 VL-Think 上的領域遺忘，並將此歸因於微調資料集的規模與多樣性有限，以及 LoRA 更新的表達能力有限。
所有實驗都在模擬中進行（以 Simpler 為基礎、使用 WidowX-250S 機器手臂的環境），且只使用一個模型 OpenVLA-7B；沒有真實機器人測試。
執行維度上的提升很小，PosChangeTo 略為下降，且數項消融比較不具統計顯著性（p > 0.05）。

對領域的影響

在 Hugging Face 每日論文上獲得 107 個讚，名列該平台過去六個月機器人論文的前 5%。論文表示其程式碼可透過 blind-vla-paper.github.io 公開取得，並提出 VL-Think 診斷工具組。

摘要

視覺-語言-動作（VLA）模型日益成功，源自一個前景：預訓練的視覺語言模型（VLM）能賦予代理人可遷移的世界知識與視覺-語言（VL）接地能力，為具備更廣泛泛化能力的動作模型奠定基礎。然而，當這些 VLM 被調適到動作模態時，其原有的 VL 表徵與知識能保留到什麼程度，仍不清楚。在本研究中，我們對 VLA 微調期間的表徵保留進行系統性研究，顯示單純的動作微調會導致視覺表徵劣化。為了刻畫並量測這些影響，我們探測 VLA 的隱藏表徵並分析注意力圖；此外，我們設計了一組針對性的任務與方法，將 VLA 模型與其對應的 VLM 對照，以分離出由動作微調所引起的 VL 能力變化。我們進一步評估一系列對齊視覺表徵的策略，並提出一個簡單而有效的方法，能減緩劣化，並在分布外（OOD）情境中帶來更好的泛化。整體而言，我們的分析釐清了動作微調與 VL 表徵劣化之間的取捨，並指出恢復所繼承之 VL 能力的實用做法。程式碼已公開：blind-vla-paper.github.io

連結

arXiv 2510.25616: https://arxiv.org/abs/2510.25616
PDF: https://arxiv.org/pdf/2510.25616v1
專案頁面: https://blind-vla-paper.github.io/