Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

作者: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

建構場景的 LERF，以 DINO 特徵為指定的物體產生遮罩，只在遮罩內查詢部件名稱，並為 GraspNet 的抓取重新排序，讓機器人抓住指定的部件。

為何重要

此方法不需要部件標籤、可供性資料集、示範或微調，而且由於以零樣本方式使用 CLIP，它能處理「ethernet dongle」（乙太網路轉接器）、「cork」（軟木塞）或「martini glass」（馬丁尼杯）這類長尾查詢。部件查詢是純文字，因此語言模型可以從「cut the steak」（切牛排）這樣的任務描述中給出物體與部件。

問題

許多物體必須依特定部件抓取，例如刀要抓刀柄、太陽眼鏡要抓鏡框，但以學習為基礎的抓取規劃器大多只考慮幾何，並以物體是否被提起來判斷成功。較早的任務導向抓取方法需要收集物體部件或可供性資料集，難以擴展到大量物體。LERF 本身只會突顯物體最具辨識度的區域，而 CLIP 的行為像詞袋模型，因此「mug」與「mug handle」激活的區域幾乎相同。

提出的方法

腕部攝影機沿半球形路徑拍攝約 60 張影像，並在約 78 秒內訓練出一個語言嵌入輻射場（將 CLIP 與 DINO 特徵蒸餾到 NeRF 中，以 Nerfstudio 的 Nerfacto 為基礎）。物體查詢負責定位物體，接著以 DINO 特徵相似度進行泛洪填充，長出 3D 物體遮罩，並只在遮罩內的點上評估部件查詢（條件式 LERF 查詢）。由一個半球上的虛擬攝影機產生的 GraspNet 抓取，依 0.95 × 語意分數（抓取體積內部件相關性的中位數）+ 0.05 × GraspNet 信心值進行排序。

關鍵見解

由 DINO 特徵得到的 3D 物體遮罩，補上了 LERF 的 CLIP 相關性所欠缺的物體分組，因此部件查詢能涵蓋整個物體，包括長條形的物體。
把部件查詢限制在物體遮罩內（條件查詢），能抵銷 CLIP 的詞袋行為。
語意分數必須主導排序（權重 0.95）：物體遮罩上幾何信心最高的抓取，只有 18% 的情況落在正確部件上。
多尺度 CLIP 特徵對部件很重要：每個點只有一個 CLIP 嵌入的 ConceptFusion，選對物體的頻率差不多，但選對部件的頻率低得多。
主要的失敗模式是外觀相似的部件（茶壺的壺嘴與把手）、細小的幾何（茶杯把手、噴霧扳機）、相近的類別（牛排刀與麵包刀），以及提示的措辭（「bottle neck」比「neck」定位得更好）。

主要結果

以人工撰寫查詢進行的部件導向抓取（49 個提示、12 個場景，表 1）：物體正確 96%、部件正確 82%、以正確部件成功提起 69%。摘要與結論給出的部件正確率為 81%。
實體物體的數量在摘要與第 5 節中為 31 個，在引言與任務導向結果中則為 39 個。
使用 NeRF 深度的 ConceptFusion：物體正確 77%、部件正確 39%（未進行實體試驗）；在 20 個提示與 5 個場景上的單一視角基準方法：Semantic Abstraction 物體 80% / 部件 35%，OWL-ViT 物體 85% / 部件 50%。
由 ChatGPT 依任務描述選擇物體與部件時（對七個回答進行多數決），表 3 報告物體正確 96%、部件正確 71%；結果一節的內文則給出選對基元的比例為 92%，並把 71% 描述為物體正確的成功率。
耗時：場景擷取 30 s、LERF 訓練到 2k 步 78 s、LERF-TOGO 查詢 10 s，擷取期間的前處理分散在三張 NVIDIA 4090 GPU 上。

限制

作者表示，端到端流程需要幾分鐘，對時間敏感的應用而言可能不切實際。
相連的前景物體群組會被 DINO 泛洪填充遮罩合併，而不是被分開（作者指出）。
若物體查詢符合多個物體，例如完全相同的馬克杯或泛稱的「mug」，系統會任意挑選其中一個（作者指出）。
無法處理指涉或比較式的表達，例如「mug next to the plate」（盤子旁的馬克杯）或「biggest mug」（最大的馬克杯）（作者指出）。
每個場景只重建一次，之後物體被逐一移除而不更新表示；部件選擇對措辭很敏感，由 LLM 產生的部件查詢部件正確率為 71%，人工查詢則為 82%。

對領域的影響

入圍 CoRL 2023 最佳論文 / 最佳學生論文獎決選，被引用 159 次。作者透過 lerftogo.github.io 提供程式碼、資料與附錄，該網站連結了一個 GitHub 儲存庫與一個存放資料的資料夾。

摘要

依特定子部件抓取物體，對安全與執行下游任務往往至關重要。我們提出 LERF-TOGO，即用於物體任務導向抓取的語言嵌入輻射場（Language Embedded Radiance Fields for Task-Oriented Grasping of Objects），它以零樣本方式使用視覺語言模型，在給定自然語言查詢時輸出物體上的抓取分布。為此，我們先建構場景的 LERF，將 CLIP 嵌入蒸餾到一個可用文字查詢的多尺度 3D 語言場中。然而，LERF 沒有物體邊界的概念，因此其相關性輸出常只在物體上產生不完整的激活，不足以用於抓取。LERF-TOGO 透過 DINO 特徵擷取 3D 物體遮罩，再以此遮罩為條件查詢 LERF，取得物體上的語意分布，用來為現成抓取規劃器給出的抓取排序，藉此彌補空間分組的不足。我們在 31 個實體物體上評估 LERF-TOGO 抓取任務導向物體部件的能力，發現它在 81% 的試驗中選到正確部件上的抓取，並在 69% 的試驗中成功抓取。程式碼、資料、附錄與詳細資訊請見：lerftogo.github.io

連結

arXiv 2309.07970: https://arxiv.org/abs/2309.07970
DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
程式碼: https://github.com/lerftogo/lerftogo
專案頁面: https://lerftogo.github.io/