Interactive Object Segmentation in 3D Point Clouds

作者: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

使用者直接在 3D 點雲中點選正點與負點；一個只在 ScanNet 上訓練的稀疏體素網路據此修飾物體遮罩，並能轉移到其他室內與室外資料集。

為何重要

機器人感知模型需要已標註的點雲，而此方法只需點雲本身、不需對齊的影像，且可加到任何以點或體素為基礎的 3D 分割網路上。它也能分割訓練集中沒有的類別，作者並展示它能以幾次點選修飾自動產生的實例遮罩與既有的真值標註。

問題

密集的 3D 標註成本高昂：場景含有數百萬個點，而 3D 標註介面操作緩慢。早期的互動式 3D 方法在 2D 影像中取得使用者回饋，這需要已知相機姿態的對齊影像，並需在 2D 與 3D 視圖之間切換；而全監督式實例分割需要大型訓練集，無法泛化到沒見過的類別，產生的遮罩也太粗糙，無法當作真值。

提出的方法

使用者在 3D 場景中點選；每次點選會把一個小立方體（邊長 5 cm，在 ScanNet 上約含 30 個點）內的所有點，標記到兩個額外輸入通道之一，分別代表正點選與負點選。一個以 ScanNetV2 語意分割權重初始化的 MinkowskiEngine 稀疏卷積網路輸出二元的前景／背景遮罩，並以隨機模擬的點選進行微調；測試時由模擬使用者點選最大錯誤區域的中心。可選用的線上適應會在標註過程中依使用者的點選更新模型。

關鍵見解

• 把點選編碼成小立方體，正好契合現有使用邊界框的 3D 標註工具；邊長 5 cm 效果最好（NOC@90 為 14.72，10 cm 時為 16.09）。
• 只在 ScanNetV2 上訓練的模型，在 S3DIS 上需要的點選次數比在它自己的驗證集上還少，而 SemanticKITTI（稀疏、無顏色、感測器不同）則需要多得多的點選。
• 依使用者點選進行線上適應，在 SemanticKITTI 上減少約 4 次點選，也改善了 ScanNet 中沒有的 S3DIS 類別，例如 beam 與 board。
• 在一項三人的使用者研究中，模擬點選足以代表真實標註者。
• 80% IoU 的遮罩仍含有明顯的錯誤區域，因此作者主張真值標註應以約 90% IoU 為目標。

主要結果

• ScanNetV2 驗證集上達到 80 / 85 / 90% IoU 所需點選次數：已見類別為 8.3 / 10.6 / 13.6，未見類別為 11.7 / 14.1 / 16.5。
• ScanNetV2 基準類別上的 3D 實例分割 AP：每個物體 5 次點選時為 61.8（Table 1 的數值，正文寫 61.5），10 次點選時為 75.5，而不分類別的 HAIS 為 55.1，SSTNet 為 49.4。
• ScanNetV2 未見類別：1 次點選時 AP 為 13.5，3 次點選為 33.1，10 次點選為 60.3，而不分類別的 HAIS 為 13.8。
• S3DIS Area 5，未微調：達到 80 / 85 / 90% IoU 需 6.8 / 8.9 / 11.8 次點選，使用線上適應時為 6.5 / 8.6 / 11.5 次。
• SemanticKITTI：達到 80 / 85 / 90% IoU 需 19.4 / 19.5 / 19.6 次點選，使用線上適應後降為 15.1 / 15.4 / 15.9 次。
• 使用者研究：在困難的「picture」類別上，5 次點選後的 IoU 人類為 49.6，模擬器為 32.0；在隨機物體上，10 次點選後的 IoU 分別為 82.0 與 84.8。

限制

• 這項研究屬於 3D 感知工具：它藉由人的點選在點雲中分割物體，實驗中並未使用任何機器人。
• 作者將以預訓練的語意與實例骨幹網路強化輸入列為未來工作。
• 先前互動得到的遮罩尚未作為下一次修正的輸入回饋進去。
• 訓練時隨機取樣點選，而非採用模擬真實使用者的迭代策略，且沒有處理前景／背景類別不平衡的損失函數。
• 無顏色的稀疏室外掃描需要多得多的點選：在 SemanticKITTI 上不使用適應時，達到 80–90% IoU 約需 19.5 次。

對領域的影響

入圍 ICRA 2023 傑出實體人機互動論文獎決選，被引用 36 次。授權版本未附程式碼或資料連結；文中描述了為使用者研究打造的標註工具，但未說明是否已釋出。

摘要

深度學習仰賴大量已標註的訓練資料。人工標註成本高昂，是一大瓶頸，對分割這類任務尤其如此，因為標籤必須細到單一點的層級。對 3D 資料而言，這項挑戰更加艱鉅：3D 點雲每個場景含有數百萬個點，要精確標註明顯更耗時。3D 點雲使用者介面的額外複雜度又讓情況雪上加霜，使標註更加緩慢。在 2D 影像分割中，互動式技術已相當普遍：使用者以幾次點選的形式提供回饋，引導分割演算法（如今通常是神經網路），以最少的工夫得到精確的標註。令人意外的是，3D 場景的互動式分割鮮少被探討。先前的研究嘗試利用來自 2D 領域的人類回饋取得精確的 3D 分割遮罩，但這只有在 3D 點雲同時附有正確對齊的影像時才可行，而且需要在 2D 與 3D 領域之間切換。本文提出一種互動式 3D 物體分割方法，讓使用者直接與 3D 點雲互動。重要的是，我們的模型不需要目標領域的訓練資料：在 ScanNet 上訓練後，它在其他幾個資料特性與物體類別皆不同的資料集上也表現良好。此外，我們的方法與監督式（實例）分割方法正交，可與之結合，以最少的人力修飾自動分割結果。

連結

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1