Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

作者: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

F3RM 將 2D 的 CLIP 或 DINO 特徵蒸餾到 3D NeRF 特徵場中，讓機器人能從每個任務兩次示範推論 6-DOF 抓取與放置，並拿起以自由文字指定的物體。

為何重要

此方法不需要微調視覺模型，也不需要分割遮罩或物體姿態假設，因為它是在整個特徵場上運作。作者報告，把較新的視覺語言模型接入此流程只需幾分鐘的工程工作，無需重新訓練，也不需要新的示範。

問題

預訓練的 2D 影像模型具備豐富的語意知識，但抓取與放置需要精確的 3D 幾何，而 2D 特徵缺乏這點。本文探討機器人如何在給定少量示範或一段文字描述時，於雜亂場景中拿起從未見過的物體，這些物體在形狀、大小、姿態與材質上都和示範中的物體不同。

提出的方法

機器人以裝在自拍棒上的 RGB 攝影機掃描桌面（50 張影像），並訓練一個 NeRF，它也能渲染來自 DINO ViT 或 CLIP 的稠密特徵；CLIP 區塊特徵透過 MaskCLIP 重新參數化擷取，使其與語言保持對齊。6-DOF 夾爪姿態的編碼方式，是在夾爪座標系中的 100 個查詢點上對依佔據度加權的特徵場取樣；姿態則透過體素預先篩選加上 Adam 最佳化求得，最佳化對象是兩次示範的平均嵌入。對於文字指令，CLIP 文字嵌入會擷取最接近的示範，並讓姿態成本偏向與查詢相符的區域。

關鍵見解

DINO 與 CLIP 特徵場彼此互補：DINO 提供良好的部件層級幾何，但會被外觀相似的干擾物混淆，且容易對顏色過度擬合；CLIP 則偏重語意而非幾何：27 次 CLIP 失敗中有 21 次、19 次 DINO 失敗中有 7 次源自抓取的旋轉或平移誤差。
以 MaskCLIP 從倒數第二層取出的稠密 CLIP 特徵，保持與文字編碼器的對齊，因此語言查詢不需微調 CLIP 就能在 3D 特徵場上運作。
依 NeRF 佔據度（alpha）為特徵加權，讓單一的查詢點表示法能同時編碼局部幾何與語意，不需要物體分割或物體姿態。
當目標以文字指定時，在馬克杯與螺絲起子上的示範，能遷移到碗、量杯、膠帶捲、白板筆與餐具等新類別。
大多數語言引導的失敗（19 次中的 13 次）源自 CLIP 表現得像詞袋模型，遺漏了查詢中的關係、屬性與序數資訊。

主要結果

每個任務兩次示範的抓取與放置，五個任務、每個任務十個測試場景：CLIP ResNet 特徵 39/50、CLIP ViT 34/50、DINO ViT 31/50。
相同任務上的基準方法：NeRF 密度 27/50、RGB 21/50、NeRF 中間特徵 9/50、MIRA 15/50。
13 個桌面場景中的語言引導操作：50 個查詢中有 31 個成功；依類別分，顏色 7/10、材質 7/10、關係 4/10、一般 4/10、分布外物體類別 9/10。
在 NVIDIA RTX 3090 上擬合 NeRF 與特徵場最多需要 90 s（平均 80 s），每個場景需要 60–120 MB；相較之下，以面元為基礎的 ConceptFusion 每個場景需要 50 GB 到數百 GB。
抓取姿態最佳化平均需要 15 s；在視角數量的消融實驗中，當影像少於 50 張掃描影像中的約 20 張時，品質會急遽下降。

限制

作者指出：自動掃描與建模流程每個場景需要幾分鐘，是系統的主要瓶頸。
作者指出，31/50 的語言引導成功率距離工業實用仍很遙遠。
CLIP 的詞袋行為導致在「black screwdriver」（黑色螺絲起子）與「mug on a can of spam」（午餐肉罐頭上的馬克杯）等查詢上失敗，而以文字擷取示範有時需要提示工程。
查詢點分布是針對每個任務人工調整的，並在開發場景上從五組取樣的查詢點集合中挑出最佳的一組。
19 次語言引導失敗中有六次源自預測抓取的旋轉或平移誤差。

對領域的影響

榮獲 CoRL 2023 最佳論文獎。官方專案頁面連結了 F3RM 程式碼儲存庫。

摘要

自監督與語言監督的影像模型蘊含豐富的世界知識，這對泛化相當重要。然而，許多機器人任務需要對 3D 幾何有細緻的理解，而 2D 影像特徵往往欠缺這一點。這項工作利用蒸餾特徵場，把精確的 3D 幾何與來自 2D 基礎模型的豐富語意結合起來，為機器人操作彌合這道從 2D 到 3D 的落差。我們提出一種用於 6-DOF 抓取與放置的少樣本學習方法，運用這些強大的空間與語意先驗，在真實環境中泛化到未見過的物體。利用從視覺語言模型 CLIP 蒸餾而來的特徵，我們提出一種以自由文字的自然語言指定新物體以進行操作的方式，並展示其泛化到未見過的表達方式與新物體類別的能力。

連結

arXiv 2308.07931: https://arxiv.org/abs/2308.07931
PDF: https://arxiv.org/pdf/2308.07931v1
程式碼: https://github.com/f3rm/f3rm
專案頁面: https://f3rm.csail.mit.edu/