Open-Vocabulary Affordance Detection in 3D Point Clouds

著者: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023

ライセンス

オープンアクセス
論文: CC0 1.0 Universal

以下の内容はすべて、著者が CC0 1.0 Universal のもとで公開した論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

点ごとの PointNet++ 特徴を凍結した CLIP のテキスト埋め込みと照合することで、ロボットが学習に含まれない語も含め、任意のアフォーダンスの語で点群を問い合わせられるようにする。

重要な理由

ロボットに物体のどの部分に作用すべきかを平易な言葉で指示でき、把持検出、逆運動学、軌道計画にそのまま渡せる 3D 領域が得られる。新しい動詞ごとに再学習する必要はない。推論は約 100 ms で、著者らは RealSense D435i と Robotiq 2F-85 グリッパを備えた KUKA LBR iiwa で実行している。

課題

既存のアフォーダンス検出器は、画像向けでも点群向けでも固定されたアフォーダンスラベルの集合で学習されているため、ロボットは新たなアノテーションなしに新しいラベルを問い合わせることができない。画像ベースの検出器では 2D の結果を 3D に持ち上げる追加のステップも必要であり、従来のワンショットやフューショットのアフォーダンス手法も依然としてアノテーション例を必要とし、2D 画像でしか機能しない。

提案手法

OpenAD は PointNet++ バックボーンで 2048 個の入力点それぞれについて 512 次元の埋め込みを生成し、各アフォーダンスラベルを凍結した CLIP ViT-B/32 テキストエンコーダで符号化する。各点の埋め込みと各ラベルの埋め込みとのコサイン類似度を学習可能な温度でスケーリングすると、与えられた任意のラベルに対する点ごとの softmax が得られる。学習にはクラス重み付きの負の対数尤度損失を用いる。推論時には任意のテキストをラベルとして与えられる。

主な知見

点の特徴を言語モデルのテキスト埋め込みに整列させることで、意味的に関連する未見のラベルが、アノテーション例が一つもなくても正しい領域に当てはまる
テキストエンコーダの選択はオープンボキャブラリの結果に効く。両方のバックボーンで CLIP ViT-B/32 が mIoU で BERT を上回った一方、クローズドセットの結果はほぼ同等だった
言語駆動のヘッドを加えてもクローズドセットの精度は損なわれない。OpenAD は専用の点群セグメンテーションネットワークとの差が 1 ポイントに満たない
各点は現在のラベル集合から最良のラベルを取るため、より具体的なラベル（例：「contain」の後に「grasp」）を加えると該当する点のラベルが付け替わる

主な結果

ゼロショット、完全形状（3D AffordanceNet を 37 クラスに再ラベル付け）：mIoU 14.37 に対し、ZSLPC 9.97、3DGenZ 6.46、TZSLPC 3.86。Acc 46.31 と mAcc 19.51 はいずれも最高
ゼロショット、部分視点：mIoU 12.50 に対し ZSLPC 9.52。本文では差を 3.98% としているが、表 I の数値では 2.98 ポイントとなる。Acc 45.25 と mAcc 17.37 も最高
クローズドセットの 3D AffordanceNet（表 II）、完全形状：mIoU 42.00 に対し、DGCNN 42.09、PointNet++ 41.26、Point Transformer 41.26。Acc は 69.03 で最高
クローズドセット、部分視点：mIoU 41.87 に対し、DGCNN 41.93、PointNet++ 41.10、Point Transformer 40.51。Acc は 69.91 で最高
アブレーション（オープンボキャブラリ、完全形状）：PointNet++ は CLIP で 14.37 mIoU、BERT で 10.55。DGCNN は CLIP で 10.88、BERT で 9.43
推論は平均約 100 ms。実機デモには、袋を持ち上げて掲げる、ボトルを包む、イヤホンを押すといった動作が含まれる

制限事項

著者らは、本手法は完全に未見のアフォーダンスの検出にはまだほど遠いと述べており、既知の物体での失敗例も示している
著者らは、物体が備えていないアフォーダンスを OpenAD が見つけてしまう誤検出（袋での display、電子レンジでの support、帽子での openable）を示している
ゼロショットの絶対スコアは依然として低く（完全形状で mIoU 14.37、部分視点で 12.50）、著者らはより良い視覚と言語の対応付け（例：クロスアテンション）、より強力なバックボーン、より大規模なアフォーダンスデータセットが必要だとしている
実機実験はデモであり、成功率は報告されていない
入力は 2048 点にサンプリングされた単一のセグメント済み物体であり、ロボットのパイプラインは別個の物体位置推定ステップに依存している

分野への影響

IROS 2023 Best Overall Paper Award と Best Student Paper Award を合わせたファイナリストリストに名を連ね、被引用数は 66 である。論文では著者らがソースコードを公開するとしているが、ライセンスされた版にはリンクは記載されていない。

概要

アフォーダンス検出は、ロボットにおける幅広い応用をもつ難しい問題である。従来のアフォーダンス検出手法はあらかじめ定義されたアフォーダンスラベルの集合に限られており、そのため複雑で動的な環境における知能ロボットの適応性を制限しうる。本論文では、3D 点群において無制限の数のアフォーダンスを検出できる Open-Vocabulary Affordance Detection（OpenAD）手法を提案する。アフォーダンスのテキストと点の特徴を同時に学習することで、OpenAD はアフォーダンス間の意味的な関係をうまく活用する。したがって、提案手法はゼロショット検出を可能にし、アノテーション例が一つもなくても未見のアフォーダンスを検出できる。多数の実験結果から、OpenAD は幅広いアフォーダンス検出の設定で効果的に機能し、他のベースラインを大きく上回ることが示された。さらに、提案する OpenAD が高速な推論速度（≈100 ms）で実世界のロボット応用において実用的であることを示す。

リンク

arXiv 2303.02401: https://arxiv.org/abs/2303.02401
DOI 10.1109/IROS55552.2023.10341553: https://doi.org/10.1109/IROS55552.2023.10341553
PDF: https://arxiv.org/pdf/2303.02401v1