Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

著者: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

F3RM は 2D の CLIP または DINO の特徴を 3D の NeRF 特徴場に蒸留し、ロボットがタスクあたり 2 回のデモから 6-DOF の把持と配置を推論し、自由なテキストで指定された物体を拾えるようにする。

重要な理由

本手法は特徴場全体の上で動作するため、視覚モデルのファインチューニングも、セグメンテーションマスクや物体姿勢の仮定も必要ない。著者らは、より新しい視覚言語モデルをパイプラインに組み込むのは数分のエンジニアリング作業で済み、再学習も新たなデモも不要だと報告している。

課題

事前学習済みの 2D 画像モデルは豊かな意味的知識をもつが、把持と配置には 2D 特徴に欠けている正確な 3D 形状が必要である。本論文は、デモで用いた物体とは形状、大きさ、姿勢、材質が異なる物体が散らばったシーンで、少数のデモまたはテキストによる説明が与えられたときに、ロボットが見たことのない物体をどう拾い上げるかを問う。

提案手法

ロボットは自撮り棒に取り付けた RGB カメラでテーブルをスキャンし（画像 50 枚）、DINO ViT または CLIP の密な特徴もレンダリングする NeRF を学習する。CLIP のパッチ特徴は MaskCLIP の再パラメータ化で抽出し、言語との整合を保つ。6-DOF のグリッパ姿勢は、グリッパ座標系の 100 個のクエリ点で占有度重み付きの特徴場をサンプリングして符号化し、姿勢はボクセルによる事前絞り込みと、2 回のデモの平均埋め込みに対する Adam 最適化によって求める。テキストによる指令では、CLIP のテキスト埋め込みで最も近いデモを検索し、クエリに合致する領域へ姿勢コストを重み付けする。

主な知見

  • DINO と CLIP の特徴場は相補的である。DINO は部位レベルの形状をよく捉えるが、見た目の似た妨害物に惑わされ、色に過学習しやすい。一方 CLIP は形状より意味を重視する。CLIP の失敗 27 件中 21 件、DINO の失敗 19 件中 7 件が把持の回転誤差または並進誤差によるものだった。
  • MaskCLIP を用いて最後から 2 番目の層から取り出した密な CLIP 特徴はテキストエンコーダとの整合を保つため、CLIP をファインチューニングせずに 3D 特徴場上で言語クエリが機能する。
  • 特徴を NeRF の占有度（alpha）で重み付けすることで、物体のセグメンテーションや物体姿勢なしに、1 つのクエリ点表現で局所的な形状と意味の両方を符号化できる。
  • マグカップとドライバーでのデモは、対象をテキストで指定したとき、ボウル、計量ビーカー、テープのロール、ホワイトボードマーカー、食器といった新しいカテゴリに転移した。
  • 言語による誘導での失敗の大半（19 件中 13 件）は、CLIP が bag-of-words のように振る舞い、クエリ中の関係、属性、順序の情報を取りこぼしたことによる。

主な結果

  • タスクあたり 2 回のデモからの把持と配置、5 タスクで各 10 のテストシーン：CLIP ResNet 特徴 39/50、CLIP ViT 34/50、DINO ViT 31/50。
  • 同じタスクでのベースライン：NeRF 密度 27/50、RGB 21/50、NeRF の中間特徴 9/50、MIRA 15/50。
  • 13 の卓上シーンでの言語誘導マニピュレーション：50 クエリ中 31 が成功。カテゴリ別では、色 7/10、材質 7/10、関係 4/10、一般 4/10、分布外の物体カテゴリ 9/10。
  • NVIDIA RTX 3090 で NeRF と特徴場のフィッティングにかかる時間は最大 90 s（平均 80 s）で、シーンあたり 60–120 MB を要する。サーフェルベースの ConceptFusion ではシーンあたり 50 GB から数百 GB を要する。
  • 把持姿勢の最適化には平均 15 s かかる。視点数のアブレーションでは、スキャンした 50 枚の画像のうちおよそ 20 枚を下回ると品質が大きく低下する。

制限事項

  • 著者らによる：自動のスキャンとモデル化のパイプラインはシーンあたり数分かかり、システムの主なボトルネックとなっている。
  • 著者らは、言語誘導での成功率 31/50 は産業用途での実用にはほど遠いと述べている。
  • CLIP の bag-of-words 的な振る舞いにより、「black screwdriver」（黒いドライバー）や「mug on a can of spam」（スパム缶の上のマグカップ）といったクエリで失敗が生じた。また、テキストによるデモの検索にはプロンプトエンジニアリングが必要になることがあった。
  • クエリ点の分布はタスクごとに手作業で調整されており、開発用シーンで 5 つのサンプリングしたクエリ点集合の中から最良のものが選ばれる。
  • 言語誘導での失敗 19 件のうち 6 件は、予測された把持の回転誤差または並進誤差によるものだった。

分野への影響

CoRL 2023 Best Paper Award を受賞。公式のプロジェクトページから F3RM のコードリポジトリにリンクされている。

概要

自己教師ありおよび言語教師ありの画像モデルは、汎化に重要な世界についての豊かな知識を含んでいる。しかし、多くのロボットタスクでは 3D 形状の詳細な理解が必要であり、それは 2D 画像特徴には欠けていることが多い。本研究は、蒸留した特徴場を活用して正確な 3D 形状と 2D 基盤モデルの豊かな意味情報とを組み合わせることで、ロボットマニピュレーションにおけるこの 2D から 3D へのギャップを埋める。これらの強力な空間的・意味的事前知識を活用し、未見の物体への実環境での汎化を達成する、6-DOF の把持と配置のためのフューショット学習手法を提示する。視覚言語モデル CLIP から蒸留した特徴を用いて、自由なテキストの自然言語により操作対象の新しい物体を指定する方法を示し、未見の表現や新しい物体カテゴリへ汎化できることを実証する。

リンク

  • arXiv 2308.07931: https://arxiv.org/abs/2308.07931
  • PDF: https://arxiv.org/pdf/2308.07931v1
  • コード: https://github.com/f3rm/f3rm
  • プロジェクトページ: https://f3rm.csail.mit.edu/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。