Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

著者: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

シーンの LERF を構築し、指定された物体を DINO 特徴でマスクし、そのマスク内でのみ部位名を問い合わせ、GraspNet の把持候補を並べ替えて、ロボットが指定された部位をつかむようにする。

重要な理由

本手法は部位ラベル、アフォーダンスのデータセット、デモ、ファインチューニングを必要とせず、CLIP をゼロショットで使うため、「ethernet dongle」（イーサネットドングル）、「cork」（コルク）、「martini glass」（マティーニグラス）のようなロングテールのクエリも扱える。部位のクエリは平文なので、「cut the steak」（ステーキを切る）のようなタスク記述から言語モデルが物体と部位を与えることもできる。

課題

ナイフは柄で、サングラスはフレームでというように、多くの物体は特定の部位でつかむ必要があるが、学習ベースの把持プランナは主に形状しか考慮せず、物体が持ち上がったかどうかで成功を判断する。従来のタスク指向把持手法は物体部位やアフォーダンスのデータセットを収集するが、多数の物体へのスケールが難しい。LERF 単体では物体の最も識別しやすい領域しか強調されず、CLIP は bag-of-words のように振る舞うため、「mug」と「mug handle」はほぼ同じ領域を活性化させる。

提案手法

手首のカメラが半球状の経路で約 60 枚の画像を撮影し、Language Embedded Radiance Field（CLIP と DINO の特徴を NeRF に蒸留したもので、Nerfstudio の Nerfacto 上に構築）を約 78 秒で学習させる。物体のクエリで物体の位置を特定し、DINO 特徴の類似度に対するフラッドフィルで 3D の物体マスクを成長させ、部位のクエリはそのマスク内の点でのみ評価する（条件付き LERF クエリ）。半球上に並べた仮想カメラから生成した GraspNet の把持候補を、0.95 × 意味スコア（把持体積内の部位関連度の中央値）+ 0.05 × GraspNet の確信度で順位付けする。

主な知見

  • DINO 特徴から得た 3D の物体マスクが、LERF の CLIP 関連度に欠けている物体のグルーピングを補うため、部位のクエリが細長い物体も含めて物体全体をカバーする。
  • 部位のクエリを物体マスク内に限定する（条件付きクエリ）ことで、CLIP の bag-of-words 的な振る舞いを打ち消せる。
  • 順位付けでは意味スコアが支配的である必要がある（重み 0.95）。物体マスク上で幾何的な確信度が最も高い把持が正しい部位に当たるのは 18% にすぎない。
  • 部位にはマルチスケールの CLIP 特徴が重要である。点ごとに CLIP 埋め込みを 1 つしかもたない ConceptFusion は、正しい物体を選ぶ頻度はほぼ同じだが、正しい部位を選ぶ頻度ははるかに低い。
  • 主な失敗の様式は、見た目の似た部位（ティーポットの注ぎ口と取っ手）、小さな形状（ティーカップの取っ手、スプレーのトリガー）、近いカテゴリ（ステーキナイフとパン切りナイフ）、プロンプトの言い回し（「neck」より「bottle neck」のほうが位置特定がうまくいく）である。

主な結果

  • 人が書いたクエリによる部位指向の把持（49 プロンプト、12 シーン、表 1）：物体正解 96%、部位正解 82%、正しい部位での持ち上げ成功 69%。要旨と結論では部位正解率を 81% としている。
  • 実物体の数は、要旨と第 5 節では 31 個、序論とタスク指向の結果では 39 個とされている。
  • NeRF の深度を用いた ConceptFusion：物体正解 77%、部位正解 39%（実機試行なし）。20 プロンプト・5 シーンでの単一視点のベースライン：Semantic Abstraction は物体 80% / 部位 35%、OWL-ViT は物体 85% / 部位 50%。
  • ChatGPT がタスク記述から物体と部位を選ぶ場合（7 つの回答の多数決）、表 3 では物体正解 96%、部位正解 71% と報告されている。結果の本文では正しいプリミティブを選ぶ割合を 92% とし、71% を物体正解の成功率として述べている。
  • 所要時間：シーンの撮影 30 s、LERF の 2k ステップまでの学習 78 s、LERF-TOGO のクエリ 10 s。撮影中の前処理は 3 基の NVIDIA 4090 GPU に分散している。

制限事項

  • 著者らは、エンドツーエンドの処理に数分かかり、時間に厳しい用途では実用的でない場合があると述べている。
  • つながった前景物体のグループは、分離されずに DINO のフラッドフィルによるマスクで統合されてしまう（著者らによる）。
  • 物体のクエリが同一のマグカップや総称的な「mug」のように複数の物体に該当する場合、システムは任意に 1 つを選ぶ（著者らによる）。
  • 「mug next to the plate」（皿の隣のマグカップ）や「biggest mug」（いちばん大きいマグカップ）のような参照表現や比較表現は扱えない（著者らによる）。
  • 各シーンは一度だけ再構成され、その後は表現を更新せずに物体を 1 つずつ取り除く。部位の選択は言い回しに敏感であり、LLM が生成した部位クエリの部位正解率は 71% で、人が書いたクエリでは 82% である。

分野への影響

CoRL 2023 Best Paper / Best Student Paper Award のファイナリストとなり、被引用数は 159 である。著者らは lerftogo.github.io を通じてコード、データ、付録を公開しており、そこから GitHub リポジトリとデータフォルダにリンクされている。

概要

物体を特定の部位でつかむことは、安全のためにも下流のタスクを実行するためにもしばしば重要である。我々は LERF-TOGO（Language Embedded Radiance Fields for Task-Oriented Grasping of Objects）を提案する。これは視覚言語モデルをゼロショットで用い、自然言語のクエリが与えられたときに物体上の把持分布を出力する。そのためにまず、CLIP の埋め込みをテキストで問い合わせ可能なマルチスケールの 3D 言語場に蒸留した、シーンの LERF を構築する。しかし LERF には物体の境界という概念がないため、その関連度の出力は物体上で不完全な活性化しか返さないことが多く、把持には不十分である。LERF-TOGO は、DINO 特徴によって 3D の物体マスクを抽出し、このマスクを条件として LERF を問い合わせて物体上の意味的な分布を得ることで、この空間的なグルーピングの欠如を補う。その分布を用いて既製の把持プランナが出した把持候補を順位付けする。31 個の実物体で、タスク指向で物体の部位を把持する LERF-TOGO の能力を評価したところ、81% の試行で正しい部位上の把持を選び、69% の試行で把持に成功した。コード、データ、付録、詳細は lerftogo.github.io で入手できる

リンク

  • arXiv 2309.07970: https://arxiv.org/abs/2309.07970
  • DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
  • PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
  • コード: https://github.com/lerftogo/lerftogo
  • プロジェクトページ: https://lerftogo.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。