Interactive Object Segmentation in 3D Point Clouds

著者: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ユーザーは 3D 点群内で正と負の点を直接クリックする。ScanNet のみで学習したスパースボクセルネットワークが物体マスクを改善し、他の屋内外データセットにも転移する。

重要な理由

ロボットの知覚モデルにはラベル付き点群が必要であり、本手法は位置合わせされた画像なしに点群だけで機能し、点ベースまたはボクセルベースの任意の 3D セグメンテーションネットワークに追加できる。学習セットにないクラスもセグメンテーションでき、著者は数回のクリックで自動生成されたインスタンスマスクや既存の正解ラベルを改善できることも示している。

課題

密な 3D ラベルは高コストである。シーンは数百万点を含み、3D ラベリングのインターフェースは遅い。以前の対話型 3D 手法は 2D 画像でユーザーフィードバックを受け取っていたため、カメラ姿勢が既知の位置合わせ済み画像と、2D と 3D のビューの切り替えが必要だった。一方、完全教師ありのインスタンスセグメンテーションは大規模な学習セットを必要とし、未知のクラスに汎化せず、得られるマスクも正解ラベルとして使うには粗すぎる。

提案手法

ユーザーは 3D シーン内の点をクリックする。各クリックは小さな立方体（一辺 5 cm、ScanNet で約 30 点）内のすべての点を、正クリック用と負クリック用の 2 つの追加入力チャンネルのいずれかにマークする。ScanNetV2 のセマンティックセグメンテーションの重みで初期化した MinkowskiEngine のスパース畳み込みネットワークが前景／背景の二値マスクを出力し、ランダムにシミュレーションしたクリックでファインチューニングされる。テスト時には、シミュレーションのユーザーが最大の誤り領域の中心をクリックする。オプションのオンライン適応では、ラベル付け中にユーザーのクリックからモデルを更新する。

主な知見

• クリックを小さな立方体として符号化すると、バウンディングボックスを使う既存の 3D ラベリングツールに適合する。一辺 5 cm が最も良かった（NOC@90 は 14.72、10 cm では 16.09）。
• ScanNetV2 のみで学習したモデルは、自身の検証セットよりも S3DIS で必要なクリック数が少なかった一方、SemanticKITTI（スパースで色がなく、センサーが異なる）でははるかに多くのクリックを要した。
• ユーザーのクリックによるオンライン適応で、SemanticKITTI では約 4 クリック減り、beam や board のように ScanNet にない S3DIS のクラスでも改善した。
• 3 人によるユーザー調査で、シミュレーションしたクリックは実際のアノテーターを代表していた。
• IoU 80% のマスクにはまだかなりの誤り領域が含まれるため、著者は正解ラベル付けでは IoU 約 90% を目標にすべきだと主張している。

主な結果

• ScanNetV2 検証セットで IoU 80 / 85 / 90% に達するのに必要なクリック数：既知クラスで 8.3 / 10.6 / 13.6、未知クラスで 11.7 / 14.1 / 16.5。
• ScanNetV2 ベンチマークのクラスでの 3D インスタンスセグメンテーション AP：物体あたり 5 クリックで 61.8（Table 1 の値。本文では 61.5）、10 クリックで 75.5。クラス非依存の HAIS は 55.1、SSTNet は 49.4。
• ScanNetV2 の未知クラス：AP は 1 クリックで 13.5、3 クリックで 33.1、10 クリックで 60.3。クラス非依存の HAIS は 13.8。
• S3DIS Area 5（ファインチューニングなし）：IoU 80 / 85 / 90% まで 6.8 / 8.9 / 11.8 クリック、オンライン適応ありで 6.5 / 8.6 / 11.5 クリック。
• SemanticKITTI：IoU 80 / 85 / 90% まで 19.4 / 19.5 / 19.6 クリックで、オンライン適応により 15.1 / 15.4 / 15.9 クリックに減少。
• ユーザー調査：難しい「picture」クラスでは 5 クリック後の IoU が人で 49.6、シミュレータで 32.0。ランダムな物体では 10 クリック後の IoU が 82.0 対 84.8。

制限事項

• 本研究は 3D 知覚のツールであり、人のクリックで点群中の物体をセグメンテーションするもので、実験にロボットは使われていない。
• 著者は、事前学習済みのセマンティックおよびインスタンスのバックボーンで入力を強化することを今後の課題として挙げている。
• 以前のやり取りで得たマスクは、次の修正の入力としてまだフィードバックされていない。
• 学習時のクリックは、実際のユーザーを模した反復的な戦略ではなくランダムにサンプリングされており、前景／背景のクラス不均衡を扱う損失もない。
• 色のないスパースな屋外スキャンでははるかに多くのクリックが必要で、SemanticKITTI で適応なしに IoU 80–90% に達するには約 19.5 クリックを要する。

分野への影響

ICRA 2023 Outstanding Physical Human-Robot Interaction Paper 賞のファイナリストで、被引用数は 36。ライセンスされた版にはコードやデータへのリンクがなく、ユーザー調査のために作ったアノテーションツールについて述べているが、公開されたとは書かれていない。

概要

深層学習は大量のラベル付き学習データに依存している。手作業によるラベル付けは高コストでボトルネックとなっており、特にラベルを個々の点のレベルまで割り当てなければならないセグメンテーションのようなタスクではそうである。この課題は 3D データではさらに手強い。3D 点群はシーンごとに数百万点を含み、その正確なアノテーションには著しく時間がかかる。3D 点群のユーザーインターフェースがより複雑であることが状況をさらに悪化させ、アノテーションを一層遅くしている。2D 画像セグメンテーションでは、数回のクリックという形のユーザーフィードバックがセグメンテーションアルゴリズム（今日では通常ニューラルネットワーク）を導き、最小限の労力で正確なラベル付けを実現する対話型の手法が一般的になっている。意外なことに、3D シーンの対話型セグメンテーションはあまり研究されていない。先行研究は 2D ドメインからの人のフィードバックを用いて正確な 3D セグメンテーションマスクを得ようとしたが、これは 3D 点群とともに正しく位置合わせされた画像が利用できる場合にのみ可能であり、2D と 3D のドメインを行き来する必要がある。本研究では、ユーザーが 3D 点群と直接やり取りする対話型 3D 物体セグメンテーション手法を提示する。重要なことに、我々のモデルは対象ドメインの学習データを必要としない。ScanNet で学習すると、データ特性や物体クラスが異なる他のいくつかのデータセットでも良好に機能する。さらに、本手法は教師あり（インスタンス）セグメンテーション手法と直交しており、それらと組み合わせて、最小限の人手で自動セグメンテーションを改善できる。

リンク

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1