VLA
- 又稱: Vision-Language-Action Model, Vision-Language-Action
- 類別: Learning & autonomy › Foundation models
- 標籤: foundation-model, robot-learning, multimodal
把視覺、語言理解與機器人動作生成結合在統一架構中的基礎模型。
定義
視覺-語言-動作（VLA）模型是一類基礎模型，把視覺感知、語言理解與動作生成能力結合在單一的神經網路架構中。
VLA 以大量機器人示範資料集訓練，這些示範都配有自然語言指令。這讓它們能夠：
- 理解來自攝影機的視覺觀測 - 解讀自然語言指令 - 產生適當的機器人動作
VLA 代表朝向通用機器人智慧邁出的重要一步，因為它們不需要針對特定任務重新訓練，就能泛化到新的任務與環境。
為何重要
視覺-語言-動作模型這種架構，讓人可以用日常語言告訴機器人要做什麼，機器人隨即去做，不需要程式設計師撰寫特定任務的策略。它之所以重要，是因為它改變了機器人能力的來源：不必再針對每個任務設計行為，而是微調一個已經從網路規模預訓練中理解視覺世界的模型。這份繼承正是重點所在：VLA 往往能對機器人訓練中從未見過的物體做出合理的動作，因為它曾在網路上見過那個物體。
主要應用
- 以語言指揮的操作：執行以日常語言表達的指令
- 旨在適用於多種任務而非單一任務的通用策略
- 跨形態轉移，把同一個模型套用到形狀不同的機器人上
- 少樣本任務學習，從少數幾次示範適應新任務
- 家用與服務型機器人，物體種類之多讓人工設計難以應付
- 研究基準，因為開放的 VLA 如今已是標準的比較對象
實際應用
RT-2 確立了做法：取一個以網路圖片與文字預訓練的視覺語言模型，再以機器人軌跡共同微調，讓它把動作當成另一種標記輸出。OpenVLA 做出了開放權重的版本，也是大多數人實際使用的基礎，而 pi0 系列則改用流匹配，以實現更平滑、更高頻率的連續控制。實務上的限制是推論速度：大型模型無法以數百赫茲執行控制迴路，因此 VLA 通常輸出動作區塊，再交由較低層的控制器執行。
常見誤解
- VLA 是接上機器人的語言模型：動作預測是與感知聯合訓練的，不是事後才加上去
- VLA 能泛化到任何事物：它們在物體與措辭上的泛化遠勝早期策略，但超出訓練時的技能分布仍會失敗
- 模型越大就越好：推論延遲直接限制控制頻率，較慢的模型反而可能控制得更差
- 它們免除了對示範的需求：機器人資料仍是稀缺且昂貴的要素
誰需要了解
- 任何在關注機器人學習發展方向的人，因為 VLA 主導了當前的研究
- 在傳統處理流程與學習而得之通用策略之間做選擇的工程師
- 挑選基準或要微調之基礎模型的研究人員
- 評估「能理解自然語言」之機器人相關宣稱的採購者
- 剛進入機器人學習領域的學生，這些是其中的參考架構
相關技術
- 視覺語言模型（VLM）
- RT-2 與 RT-2-X（Google DeepMind）
- OpenVLA
- 行為複製
- 擴散策略
- Transformer 架構
- CLIP 與 SigLIP 視覺編碼器
- 動作標記化與動作分塊
相關術語
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Rerun: Time-aware visualizer and data store for multimodal robotics data
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
影片
- LLMs Meet Robotics: What Are Vision-Language-Action Models?: Ilia
維基百科
連結
- OpenVLA Paper: https://openvla.github.io/