Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation

著者: Peter R. Florence, Lucas Manuelli, Russ Tedrake · CoRL 2018

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ロボットが手首の RGBD カメラで物体をスキャンし、3D 再構成からピクセルごとの記述子を自己教師ありで学習して、姿勢、変形、個体をまたいでユーザーが選んだ点を把持する。

重要な理由

密な記述子により、ロボットは新しい姿勢、変形、同じクラスの別の個体にわたって、靴のかかとやおもちゃの耳のような物体上の特定の点を指し示せる。ロボットは自ら学習データを収集してラベル付けし、新しい物体は約 20 分で学習できる。

課題

汎用の把持手法は把持可能などんな物でも拾い上げるが、一貫した物体表現を保持せず、タスク固有の学習では物体の配置やタスクをまたいで汎化するのに多くの試行が必要になることがある。インスタンスセグメンテーションは物体全体のマスクしか与えず、物体の構造については何も示さない。著者らは、剛体と非剛体の物体に使え、3D ビジョンの事前知識を利用し、完全に自己教師ありで学習される、タスクに依存しない表現を求めている。

提案手法

手首に RGBD カメラを取り付けた Kuka アームが各静的シーンをスキャンし、順運動学から得たカメラ姿勢を用いた TSDF 融合によって密な 3D 再構成を得る。これにより画像間のピクセル対応が得られ、ResNet-34 の全畳み込みネットワークに対するピクセル単位の対照損失に用いられる。3D 変化検出から得た物体マスクにより、マスク内での対応サンプリングと背景のドメインランダム化が可能になり、ハードネガティブのスケーリングにより非対応損失が有益な情報を保ち、物体間損失と合成の複数物体シーンによって物体ごとに異なる記述子が得られる。実行時には、ユーザーが参照画像の 1 ピクセルをクリックすると、ロボットは新しいシーンで記述子が最もよく一致する点を見つけ、対応する 3D 点を把持する。

主な知見

• キャリブレーション済みのロボットによる静的シーンの 3D 再構成は、人手のラベルなしで密なピクセル対応を与える。
• 静的シーンのデータ対応付けだけでは一貫した物体記述子は得られず、物体マスク、背景と向きのランダム化、ハードネガティブのスケーリングが必要だった。
• シーン内だけで学習すると異なる物体が記述子空間で重なり合う。物体間損失によってそれらは分離されるが、低次元の記述子では対応の精度が犠牲になり、次元をわずかに大きくするとそれが回復する。
• 類似した個体で一緒に学習すると、記述子はクラス（帽子、靴、マグカップ）全体に汎化し、一方で「特定」学習モードでは非常に似た個体同士も区別される。
• 記述子を単位球面に射影すると D = 4 から D = 8 にする際に大きな向上が得られたが、ハードウェア実験では使用されなかった。

主な結果

• 275 シーンにわたる 47 個の物体について記述子を学習した。これには 3 つのクラス（帽子 8 個、靴 15 足、マグカップ 15 個）とその他の物体 9 個が含まれる。
• 学習は 3500 ステップで、1 ステップあたり約 0.22 s（約 13 分）、Nvidia 1080 Ti または Titan Xp 1 枚で実行される。シーンの収集を含めると、新しい物体 1 つに約 20 分かかる。
• 標準的な単一物体の手順では、画像ペアの 93% で、最良の一致点が真の対応点から画像対角線の 13% 以内にあった。著者らが実装した Schmidt らの手順を上回り、物体マスクとハードネガティブのスケーリングはそれぞれ測定可能な向上をもたらした。
• わずか 6 個の個体で学習した帽子の記述子は未知の帽子にも汎化し、その中には学習で一度も見ていない色である青い帽子も含まれていた。
• ロボットによる実演：さまざまな配置でイモムシのおもちゃの尾や右耳を把持すること、4 足の靴で学習した後に未知の靴でクラス共通の点を把持すること、乱雑に積まれた靴の山の中から 1 足の靴のかかとを把持すること。
• 各スキャンには約 70 s かかり、30 Hz で約 2,100 フレームの RGBD 画像を取得し、シーンごとに約 315 枚の画像にダウンサンプリングする。

制限事項

• 複数物体の場合、依然として人間がロボットのために物体を入れ替え、どのシーンがどの物体に対応するかを示す必要がある。
• 十分に異なる物体同士は記述子を共有しない：擬人化されたおもちゃの Baymax と Starbot には共通の記述子が得られなかった。
• 記述子は学習が済む前には把持を導けず、グリッパーの向きも制約しないため、把持は単純な幾何学的な点群プランナーに依存する。
• 複数物体のネットワークでは、物体間損失によって低次元の記述子空間での対応精度が下がる。
• 把持の実演は定性的に示されており、論文には把持成功率の報告がない。

分野への影響

CoRL 2018 Best Paper Award 受賞、被引用数 321。コード、データ、動画は github.com/RobotLocomotion/pytorch-dense-correspondence で公開されている。

概要

マニピュレーションにとって適切な物体表現とは何か。我々は、ロボットがシーンを視覚的に知覚し、その中の物体について次のような理解を学習することを望んでいる。すなわち、(i) タスクに依存せず、さまざまなマニピュレーションタスクの構成要素として使用でき、(ii) 剛体と非剛体の両方の物体に一般的に適用でき、(iii) 3D ビジョンが与える強い事前知識を活用し、(iv) 完全に自己教師あり学習で獲得される理解である。これは従来の手法では達成が難しい。把持に関する最近の研究の多くは、特定の物体の把持や他のタスクへと拡張できず、一方でタスク固有の学習では、物体の配置や他のタスクにわたってうまく汎化するために多くの試行が必要になる場合がある。本論文では、自己教師ありの密な記述子学習の最近の発展に基づき、視覚的理解とマニピュレーションのための一貫した物体表現として Dense Object Nets を提示する。これが、これまで見たことのない、場合によっては非剛体であるさまざまな物体に対して、短時間（約 20 分）で学習できることを示す。さらに、複数物体の記述子学習を可能にする新しい貢献を示し、学習手順を変更することで、物体のクラスをまたいで汎化する記述子と、物体の個体ごとに異なる記述子のいずれも獲得できることを示す。最後に、学習した密な記述子のロボットマニピュレーションへの新しい応用を示す。変形している可能性のある物体のさまざまな配置にわたって物体上の特定の点を把持することを実証し、クラス共通の記述子を用いてクラス内の物体間で特定の把持を転移することを実証する。

リンク

• arXiv 1806.08756: https://arxiv.org/abs/1806.08756
• DOI 10.48550/arXiv.1806.08756: https://doi.org/10.48550/arXiv.1806.08756
• PDF: http://proceedings.mlr.press/v87/florence18a/florence18a.pdf
• コード: https://github.com/RobotLocomotion/pytorch-dense-correspondence