Open-Vocabulary Affordance Detection in 3D Point Clouds

作者: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023

授權條款

開放取用
論文: CC0 1.0 Universal

以下內容皆依據作者依 CC0 1.0 Universal 發布的論文全文；圖表已標示作者。

一句話摘要

把逐點的 PointNet++ 特徵與凍結的 CLIP 文字嵌入相比對，讓機器人能用任何可供性詞語查詢點雲，包括訓練中沒有出現過的詞語。

為何重要

機器人可以用日常語言被告知要對物體的哪個部分動作，並得到一個 3D 區域，可直接交給抓取偵測、逆運動學與軌跡規劃，而不必為每個新動詞重新訓練。推論約需 100 ms，作者在配備 RealSense D435i 與 Robotiq 2F-85 夾爪的 KUKA LBR iiwa 上執行此方法。

問題

現有的可供性偵測器，不論是針對影像還是點雲，都是在一組固定的可供性標籤上訓練，因此機器人若要詢問新的標籤，就必須重新標註。以影像為基礎的偵測器還需要額外一個步驟，把 2D 結果提升到 3D；而較早的單樣本或少樣本可供性方法仍需要標註範例，且只適用於 2D 影像。

提出的方法

OpenAD 以 PointNet++ 骨幹網路為 2048 個輸入點中的每一點產生一個 512 維嵌入，並以凍結的 CLIP ViT-B/32 文字編碼器對每個可供性標籤編碼。每個點嵌入與每個標籤嵌入之間的餘弦相似度，再以一個可學習的溫度加以縮放，便得到針對所提供之任何標籤的逐點 softmax；訓練使用依類別加權的負對數概似損失。推論時，任何文字都可以當作標籤傳入。

關鍵見解

將點特徵與語言模型的文字嵌入對齊，讓語意相關但未見過的標籤，不需任何標註範例也能落在正確的區域上
文字編碼器的選擇會影響開放詞彙的結果：在兩種骨幹網路上，CLIP ViT-B/32 的 mIoU 都勝過 BERT，而封閉集合的結果則大致相同
加上語言驅動的輸出頭並不會犧牲封閉集合的準確度：OpenAD 與專門的點雲分割網路相差不到一個百分點的零頭
由於每個點都從目前的標籤集合中選取最佳標籤，加入一個更具體的標籤（例如在「contain」之後加入「grasp」）會重新標記相關的點

主要結果

零樣本、完整形狀（3D AffordanceNet 重新標註為 37 類）：mIoU 為 14.37，ZSLPC 為 9.97、3DGenZ 為 6.46、TZSLPC 為 3.86；Acc 46.31 與 mAcc 19.51 皆為最高
零樣本、部分視角：mIoU 為 12.50，ZSLPC 為 9.52。內文稱差距為 3.98%，但表 I 的數字顯示為 2.98 個百分點；Acc 45.25 與 mAcc 17.37 也是最高
封閉集合 3D AffordanceNet（表 II），完整形狀：mIoU 為 42.00，DGCNN 為 42.09、PointNet++ 為 41.26、Point Transformer 為 41.26；Acc 最高，為 69.03
封閉集合、部分視角：mIoU 為 41.87，DGCNN 為 41.93、PointNet++ 為 41.10、Point Transformer 為 40.51；Acc 最高，為 69.91
消融實驗（開放詞彙、完整形狀）：PointNet++ 搭配 CLIP 為 14.37 mIoU，搭配 BERT 為 10.55；DGCNN 搭配 CLIP 為 10.88，搭配 BERT 為 9.43
推論平均約需 100 ms；實體機器人示範包括拿起並舉高一個袋子、包覆一個瓶子，以及推動一副耳機

限制

作者表示，此方法距離偵測完全未見過的可供性仍有很長一段路，並展示了在已見過物體上的失敗案例
作者展示了誤判的例子：OpenAD 找到物體並不具備的可供性（袋子上的 display、微波爐上的 support、帽子上的 openable）
零樣本的絕對分數仍偏低（完整形狀 mIoU 14.37，部分視角 12.50），作者呼籲改善視覺與語言之間的關聯（例如交叉注意力）、採用更強的骨幹網路，以及建立更大的可供性資料集
實體機器人實驗僅為示範，並未報告成功率
輸入是取樣為 2048 個點的單一已分割物體；機器人流程仰賴另一個獨立的物體定位步驟

對領域的影響

列入 IROS 2023 最佳整體論文獎與最佳學生論文獎的合併決選名單，被引用 66 次。論文表示作者將釋出原始碼；經授權的副本中並未提供連結。

摘要

可供性偵測是一個具挑戰性的問題，在機器人領域有各式各樣的應用。傳統的可供性偵測方法侷限於一組預先定義的可供性標籤，因而可能限制智慧型機器人在複雜且動態的環境中的適應能力。本文提出開放詞彙可供性偵測（Open-Vocabulary Affordance Detection，OpenAD）方法，能在 3D 點雲中偵測數量不受限的可供性。藉由同時學習可供性文字與點特徵，OpenAD 成功利用了可供性之間的語意關係。因此，我們提出的方法能進行零樣本偵測，在連一個標註範例都沒有的情況下，偵測先前未見過的可供性。大量實驗結果顯示，OpenAD 在多種可供性偵測設定中都能有效運作，並大幅勝過其他基準方法。此外，我們展示了所提出的 OpenAD 在真實世界機器人應用中的實用性，其推論速度很快（≈100 ms）。

連結

arXiv 2303.02401: https://arxiv.org/abs/2303.02401
DOI 10.1109/IROS55552.2023.10341553: https://doi.org/10.1109/IROS55552.2023.10341553
PDF: https://arxiv.org/pdf/2303.02401v1