VLM

• 又稱: Vision-Language Model, Multimodal Language Model
• 類別: Learning & autonomy › Foundation models
• 標籤: foundation-model, multimodal, perception

能同時理解圖片與文字的多模態 AI 模型，可進行視覺推理與描述。

定義

視覺語言模型（VLM）是能同時理解並推理影像與文字的多模態 AI 系統。它們以大型影像-文字配對資料集訓練，以發展跨模態理解能力。

主要能力包括： - 影像標題生成與描述 - 視覺問答 - 影像-文字檢索 - 視覺推理任務

在機器人領域，VLM 作為感知骨幹，協助機器人透過自然語言理解周遭環境。

為何重要

視覺語言模型把圖片與文字連結在同一個表示中，因此能描述它看到的東西、回答關於場景的問題，或找出一句話所指的物體。在機器人學中，它是提供語意的元件：幾何告訴機器人桌上有一個形狀，VLM 則告訴它那個形狀是馬克杯，而且馬克杯要握住把手拿起。它也是 VLA（視覺-語言-動作）模型建構的基礎，因此成為現代機器人學習中許多部分底下的那一層。

主要應用

• 開放詞彙物體偵測，在沒有預先定義類別清單的情況下找出物品
• 把語言指令對應到場景中的特定區域
• 用於檢測與監控的場景描述與視覺問答
• 成功與失敗偵測，從圖片判斷任務是否完成
• 語意建圖，在機器人的地圖中標註地點與物體
• VLA（視覺-語言-動作）模型的預訓練骨幹

實際應用

機器人學中最常見的用途是語意對應（grounding）：給定「拿起紅色馬克杯」這個指令，VLM 會辨識出這句話指的是圖片中的哪個區域，再把得到的邊界框或遮罩交給抓取規劃器。開放詞彙偵測模型也以同樣方式使用，讓機器人能找到從未出現在固定類別清單中的物體。典型的限制是，VLM 理解場景，卻不理解物理：它會很有把握地描述一個物體，卻完全不知道它的質量、摩擦，或它所暗示的抓取方式是否可行。

常見誤解

• VLM 理解物理：它描述的是外觀與語意，而不是質量、摩擦或穩定性
• 它能控制機器人：VLM 產出的是語言或區域，需要動作模型或規劃器才能行動
• 基準測試上的偵測準確率能預測機器人的表現：雜亂、近距離的機器人視角與網路圖片差異極大
• VLM 越大對機器人越好：在控制迴路中延遲很重要，較小的蒸餾模型往往勝出

誰需要了解

• 為感知處理流程加入語意理解的開發者
• 在固定類別偵測器與開放詞彙模型之間做選擇的工程師
• 任何在打造以語言指揮之機器人行為的人
• 為 VLA 挑選骨幹的研究人員
• 學習現代感知與語言如何互動的學生

相關技術

• 視覺-語言-動作模型（VLA）
• CLIP 與 SigLIP
• GPT-4V、Gemini、LLaVA
• 開放詞彙物體偵測（OWL-ViT、Grounding DINO）
• 視覺問答（VQA）
• Segment Anything Model（SAM）
• 多模態嵌入
• 視覺任務的提示工程

相關術語

• VLA
• Foundation Model

相關專案

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• Rerun: Time-aware visualizer and data store for multimodal robotics data
• PCL: Industry-standard C++ library for point cloud processing in robotics perception

影片

• What Are Vision Language Models? How AI Sees & Understands Images: AI Explained