Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

저자: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

로봇 행동으로 OpenVLA를 미세 조정하면 시각 표현이 붕괴한다. 16번째 층 특징을 고정된 C-RADIOv3 교사에 정렬하면 Simpler에서 OOD 성공률이 오른다. 예: Carrot 0.49 → 0.61.

중요한 이유

이 방법은 표준 미세 조정에 미리 계산한 교사 특징과 손실 항 하나만 추가하므로, 적은 데이터로 사전 학습된 VLA를 자기 로봇에 적응시키는 팀이 모델을 바꾸지 않고 시도해 볼 수 있다. 연구는 또한 미세 조정 중 비전 인코더를 고정하는 것이 안전한 지름길이 아님을 보여 준다. 그 기준선은 거의 완전히 실패했다.

문제

VLA는 사전 학습된 VLM으로부터 비전-언어 지식을 물려받을 것으로 기대되지만, 제한된 로봇 데이터에 대한 과제 특화 지도 미세 조정이 이를 약화시킬 수 있다. 저자들은 OpenVLA의 어텐션이 흩어지고, 물체 임베딩이 서로 겹치는 군집으로 붕괴하며, 새로운 진단 모음의 대부분 영역에서 기반 모델인 PrismaticVLM보다 낮은 점수를 받는다는 것을 발견했다.

제안 방법

Visual Representation Alignment는 LoRA 미세 조정에 정규화 항을 추가한다. OpenVLA의 백본 중간층(16번째 층)에서 나온 비전 토큰 은닉 상태가 고정된 MLP 프로젝터를 거친 뒤, λ = 0.2로 가중한 코사인 유사도 손실로 고정된 C-RADIOv3 교사의 패치 특징 쪽으로 당겨진다. 논문은 또한 WidowX-250S 팔을 사용해 Simpler에서 수행하는 여덟 가지 보드 선택 과제인 VL-Think를 소개하며, 이는 비전-언어 이해를 제어 난이도와 분리한다.

핵심 통찰

• 단순한 행동 미세 조정은 기반 VLM과 비교해 OpenVLA에서 어텐션 싱크(attention sink)와 표현 붕괴를 일으킨다.
• 망각은 영역별로 다르다. OpenVLA-7B는 화살표(0.26 대 0.47), 공공 안내 표지(0.24 대 0.62), 교통 표지, 날씨 아이콘에서 PrismaticVLM보다 낮아지지만, 색상은 유지한다(0.69 대 0.69).
• 백본 중간층을 교사에 정렬하는 방식(Backbone2Enc)이 VLA 자체의 비전 인코더를 정렬하는 방식(Enc2Enc)보다 나으며, 이는 저하가 비전-언어 융합층에서 일어남을 시사한다.
• 고정된 프로젝터가 가장 잘 작동한다. 학습 가능한 프로젝터는 모델이 자신의 표현을 바꾸는 대신 프로젝터 안에서 정렬 손실을 줄이도록 허용한다.
• 미세 조정 중 시각 인코더를 고정하면 모든 환경에서 성공률이 거의 0(0.01–0.05)이었다.

주요 결과

• 의미적 OOD, SFT → Align(시드 128개): Carrot 0.49 → 0.61, Instruct 0.74 → 0.83, MultiCarrot 0.28 → 0.35, MultiPlate 0.43 → 0.49.
• 시각적 OOD: VisionImg 0.81 → 0.86, Tex05 0.55 → 0.67, Whole03 0.71 → 0.79(부록 표에서는 0.80).
• 실행 OOD: Position 0.43 → 0.58, EEPose 0.34 → 0.38이지만 PosChangeTo는 0.23 → 0.20.
• ImageNet-100 선형 프로브: OpenVLA SFT 77.48%, 사전 학습된 OpenVLA 79.88%, OpenVLA Align 82.13%, C-RADIOv3 교사 87.31%.
• VL-Think: 정렬은 Color를 0.69에서 0.82로, Shape를 0.40에서 0.48로 높였으며, 다른 대부분의 영역은 거의 변하지 않았다.
• 교사 절제(Semantic / Vision / Execution 평균): C-RADIOv3 0.61 / 0.72 / 0.39, DINOv2 0.57 / 0.69 / 0.37, Theia 0.56 / 0.67 / 0.36, SigLIP 0.54 / 0.65 / 0.35.

한계

• 저자들은 계산 자원의 제약으로 인해 연구가 전면적인 사전 학습이 아니라 미세 조정만 다룬다고 밝힌다.
• 저자들은 정렬이 VL-Think에서 영역별 망각을 일부만 되돌린다고 언급하며, 그 원인을 미세 조정 데이터셋의 크기와 다양성이 크지 않다는 점과 LoRA 업데이트의 제한된 표현력으로 돌린다.
• 모든 실험은 시뮬레이션(WidowX-250S 팔을 사용한 Simpler 기반 환경)이며 하나의 모델 OpenVLA-7B만 사용한다. 실제 로봇 시험은 없다.
• 실행 축의 향상은 작고, PosChangeTo는 약간 떨어지며, 여러 절제 비교는 통계적으로 유의하지 않다(p > 0.05).

분야에 미친 영향

Hugging Face daily papers에서 추천 107개를 받아, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%에 들었다. 논문은 코드가 blind-vla-paper.github.io를 통해 공개되어 있다고 밝히며, VL-Think 진단 모음을 소개한다.

초록

Vision-Language-Action(VLA) 모델의 성공이 커지고 있는 것은 사전 학습된 비전-언어 모델(VLM)이 에이전트에 전이 가능한 세계 지식과 비전-언어(VL) 그라운딩을 부여하여, 더 폭넓은 일반화를 갖춘 행동 모델의 토대를 놓을 수 있다는 기대에서 비롯된다. 그러나 이러한 VLM을 행동 모달리티에 적응시킬 때, 원래의 VL 표현과 지식이 어느 정도까지 보존되는지는 여전히 불분명하다. 본 연구에서는 VLA 미세 조정 중 표현 유지에 대한 체계적인 연구를 수행하여, 단순한 행동 미세 조정이 시각 표현의 저하로 이어짐을 보인다. 이러한 효과를 규명하고 측정하기 위해 VLA의 은닉 표현을 프로빙하고 어텐션 맵을 분석하며, 나아가 VLA 모델과 그에 대응하는 VLM을 대조하여 행동 미세 조정으로 인한 VL 능력의 변화를 분리해 내는 일련의 표적 과제와 방법을 설계한다. 또한 시각 표현을 정렬하기 위한 다양한 전략을 평가하고, 저하를 완화하며 분포 외(OOD) 시나리오에 대한 일반화를 개선하는 간단하면서도 효과적인 방법을 소개한다. 종합하면, 우리의 분석은 행동 미세 조정과 VL 표현 저하 사이의 트레이드오프를 명확히 하고, 물려받은 VL 능력을 회복하기 위한 실용적인 접근법을 제시한다. 코드는 공개되어 있다: blind-vla-paper.github.io

링크

• arXiv 2510.25616: https://arxiv.org/abs/2510.25616
• PDF: https://arxiv.org/pdf/2510.25616v1
• 프로젝트 페이지: https://blind-vla-paper.github.io/