Open-Vocabulary Detection

又稱: open-vocabulary object detection, OVD
類別: Sensing › Perception outputs
標籤: object-detection, vision-language, computer-vision, perception, zero-shot

一種物體偵測，藉由把影像區域與語言嵌入相比對，找出任意文字查詢所描述的物體，包括訓練時從未標註過的類別。

定義

在固定標籤集上訓練的傳統偵測器，只能輸出那些標籤。開放詞彙偵測（Open-vocabulary detection）以區域特徵與文字嵌入之間的比較，取代固定的分類器：查詢時，使用者提供類別名稱或片語，文字編碼器把它們轉成向量，每個候選區域再依它與每個查詢的相似度評分。由於標籤空間是由文字、而不是由一組固定的輸出單元定義，不必重新訓練就能查詢新的類別，測試時使用的標籤也可以與訓練時看過的不同。

辨識沒有邊框標註之類別的能力，來自大規模的圖文預訓練。CLIP 等模型從圖片與說明文字的配對中學習對齊的影像與文字嵌入，而開放詞彙偵測器把這種對齊延伸到區域層級：做法包括把 CLIP 特徵蒸餾到偵測器中（ViLD）、在預訓練的視覺語言 Transformer 上加裝偵測頭（OWL-ViT），或以把片語連結到邊框的定位資料進行訓練（GLIP、Grounding DINO）。這個意義下的術語，可追溯到 Zareian 與同事 2021 年的研究。同樣的概念也能延伸到分割與 3D：開放詞彙可供性偵測藉由比較逐點特徵與文字嵌入，以自由形式的可供性名稱標註點雲中的點。

開放詞彙偵測與兩種相關的設定不同。零樣本偵測通常在一組已見過的類別上訓練，在一組不相交的未見類別上測試，而且常常沒有大規模的圖文預訓練。開放集偵測的目標是把不屬於已知類別的物體標為未知，但不為它們命名。在機器人領域，開放詞彙偵測器讓系統能依照提到任意物體的指令行動；例如 VoxPoser 在建立其 3D 價值圖之前，會用一個開放詞彙偵測器找出語言模型生成的程式碼中所提到的物體。

為何重要

機器人收到的自然語言指令，會提到任何固定標籤集都沒有預料到的物體。開放詞彙偵測讓機器人不必為每種物體蒐集並標註新的訓練資料，就能找到它們，這正是讓語言驅動的操作能在固定物體集合之外實際運作的關鍵。

主要應用

依自然語言指令進行的語言條件操作
移動機器人在非結構化空間中搜尋物體
建立可用文字查詢的語意地圖
在 3D 點雲上標註可供性
自動標註機器人資料集

實際應用

一台移動操作機器人被告知把藍色海綿放進水槽。剖析器取出片語「blue sponge」（藍色海綿）與「sink」（水槽），開放詞彙偵測器以這些查詢在目前的 RGB 影像上執行。回傳的邊框交給分割模型，再用深度影像把遮罩投影到 3D，得到用於抓取規劃與放置的點雲。團隊為每個查詢分別設定分數門檻，而不是使用單一的全域門檻，因為相似度分數會隨措辭而變；並且在行動之前，會在多個影格上確認偵測結果。

常見誤解

開放詞彙代表任何物體都能可靠偵測 — 對於罕見、細小或用語不尋常的類別，精度仍會下降，而且結果取決於查詢的措辭
開放詞彙偵測與開放集偵測是同一回事 — 開放集方法把不熟悉的物體標為未知，而開放詞彙方法則依文字查詢為它們命名
不同查詢的分數可以互相比較 — 相似度分數在不同片語之間沒有經過校準，因此對每個查詢都用同一個門檻往往效果不好

誰需要了解

為機器人建立偵測流程的感知工程師
研究語言條件策略的機器人學習研究人員
移動操作開發者
建立語意地圖的研究人員

Open Source Robotics

Open-Vocabulary Detection

定義

為何重要

主要應用

實際應用

常見誤解

誰需要了解

相關技術

相關術語

相關專案