Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

著者: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov · arXiv 2025

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ロボットの行動で OpenVLA をファインチューニングすると視覚表現が崩壊する。第 16 層の特徴を凍結した C-RADIOv3 教師モデルに揃えると、Simpler での OOD 成功率が上がる（例：Carrot 0.49 → 0.61）。

重要な理由

この手法は標準的なファインチューニングに、事前計算した教師特徴と 1 つの損失項を加えるだけなので、少ないデータで事前学習済み VLA を自分のロボットに適応させるチームは、モデルを変えずに試せる。研究はまた、ファインチューニング中に視覚エンコーダを凍結するのは安全な近道ではないことも示している。そのベースラインはほぼ完全に失敗した。

課題

VLA は事前学習済みの VLM から視覚言語の知識を受け継ぐと期待されているが、限られたロボットデータでのタスク固有の教師ありファインチューニングによってその知識が損なわれうる。著者らは、OpenVLA のアテンションが拡散し、物体の埋め込みが重なり合うクラスタへと崩壊し、新しい診断スイートのほとんどの領域でベースの PrismaticVLM より低いスコアになることを見いだした。

提案手法

Visual Representation Alignment は LoRA ファインチューニングに正則化項を加える。OpenVLA のバックボーンの中間層（第 16 層）から得た視覚トークンの隠れ状態を凍結した MLP プロジェクタに通し、λ = 0.2 で重み付けしたコサイン類似度損失によって、凍結した C-RADIOv3 教師モデルのパッチ特徴へと引き寄せる。論文ではまた、視覚言語の理解を制御の難しさから切り分ける、Simpler 上で WidowX-250S アームを用いた 8 つのボード選択タスク VL-Think も導入している。

主な知見

  • 素朴な行動ファインチューニングは、ベースの VLM と比べて、OpenVLA にアテンションシンク（attention sink）と表現の崩壊を引き起こす。
  • 忘却は領域に固有である。OpenVLA-7B は矢印（0.26 vs 0.47）、公共案内標識（0.24 vs 0.62）、交通標識、天気アイコンで PrismaticVLM を下回るが、色は維持している（0.69 vs 0.69）。
  • バックボーンの中間層を教師モデルに揃える方法（Backbone2Enc）は、VLA 自身の視覚エンコーダを揃える方法（Enc2Enc）より優れており、劣化が視覚と言語の融合層で起きていることを示す。
  • 凍結したプロジェクタが最もよく機能する。学習可能なプロジェクタだと、モデルは自らの表現を変えずに、プロジェクタの内部で整合損失を下げてしまう。
  • ファインチューニング中に視覚エンコーダを凍結すると、すべての環境で成功率はほぼゼロ（0.01–0.05）だった。

主な結果

  • 意味的 OOD、SFT → Align（128 シード）：Carrot 0.49 → 0.61、Instruct 0.74 → 0.83、MultiCarrot 0.28 → 0.35、MultiPlate 0.43 → 0.49。
  • 視覚的 OOD：VisionImg 0.81 → 0.86、Tex05 0.55 → 0.67、Whole03 0.71 → 0.79（付録の表では 0.80）。
  • 実行の OOD：Position 0.43 → 0.58、EEPose 0.34 → 0.38、ただし PosChangeTo は 0.23 → 0.20。
  • ImageNet-100 の線形プローブ：OpenVLA SFT 77.48%、事前学習済み OpenVLA 79.88%、OpenVLA Align 82.13%、C-RADIOv3 教師モデル 87.31%。
  • VL-Think：整合により Color は 0.69 から 0.82 に、Shape は 0.40 から 0.48 に上がり、他のほとんどの領域はほぼ変わらなかった。
  • 教師モデルのアブレーション（意味 / 視覚 / 実行の平均）：C-RADIOv3 0.61 / 0.72 / 0.39、DINOv2 0.57 / 0.69 / 0.37、Theia 0.56 / 0.67 / 0.36、SigLIP 0.54 / 0.65 / 0.35。

制限事項

  • 著者らは、計算資源の制約により、研究はファインチューニングのみを対象とし、フルスケールの事前学習は扱っていないと述べている。
  • 著者らは、整合によって VL-Think での領域の忘却は部分的にしか回復しないと指摘し、その原因をファインチューニング用データセットの規模と多様性が控えめであることと、LoRA による更新の表現力が限られていることに帰している。
  • 実験はすべてシミュレーション（WidowX-250S アームを用いた Simpler ベースの環境）で、1 つのモデル OpenVLA-7B のみを用いており、実機ロボットでの試験はない。
  • 実行軸での改善は小さく、PosChangeTo はわずかに下がり、いくつかのアブレーション比較は統計的に有意でない（p > 0.05）。

分野への影響

Hugging Face の daily papers で 107 件の賛成票を集め、同サイトの過去 6 か月のロボティクス論文の上位 5% に入った。論文は、コードが blind-vla-paper.github.io から公開されていると述べ、診断スイート VL-Think を導入している。

概要

Vision-Language-Action（VLA）モデルの成功が広がっている背景には、事前学習済みのビジョン言語モデル（VLM）がエージェントに転移可能な世界知識と視覚言語（VL）グラウンディングを与え、より広い汎化能力をもつ行動モデルの基盤を築けるという期待がある。しかし、これらの VLM を行動モダリティに適応させたとき、元の VL 表現と知識がどの程度保たれるのかは依然として不明である。本研究では、VLA のファインチューニング中の表現保持について体系的に調べ、素朴な行動ファインチューニングが視覚表現の劣化につながることを示す。これらの影響を特徴付けて測定するため、VLA の隠れ表現をプローブし、アテンションマップを分析する。さらに、VLA モデルと対応する VLM を対比する一連のタスクと手法を設計し、行動ファインチューニングによって引き起こされる VL 能力の変化を切り分ける。加えて、視覚表現を整合させるさまざまな戦略を評価し、劣化を緩和して分布外（OOD）シナリオへの汎化を改善する、シンプルながら効果的な手法を導入する。総合すると、我々の分析は行動ファインチューニングと VL 表現の劣化との間のトレードオフを明らかにし、受け継いだ VL 能力を回復するための実践的なアプローチを示す。コードは公開されている：blind-vla-paper.github.io

リンク

  • arXiv 2510.25616: https://arxiv.org/abs/2510.25616
  • PDF: https://arxiv.org/pdf/2510.25616v1
  • プロジェクトページ: https://blind-vla-paper.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。