Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

著者: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ドメインランダム化とフォトリアリスティックな合成画像の混合のみで学習したキーポイントネットワークが、実ロボットの把持に十分な精度で 6-DoF 物体姿勢を推定する。

重要な理由

ロボットが新しい既知物体を学習するのに実際のラベル付き画像は不要であり、姿勢は直接回帰ではなく PnP から得られるため、再学習なしで別のカメラにもネットワークを使える。論文では、Baxter 上で上からの把持、別の物体の上へのピックアンドプレース、人からの受け渡しに十分な推定精度であることを示している。

課題

既知物体を操作するにはその 3D 位置と向きが必要だが、実画像に 6-DoF 姿勢のラベルを付けるのは手間がかかるため、ネットワークは通常テストセットと強く相関した実データで学習され、新しいカメラや照明への汎化が不十分になる。合成データはラベル付けを不要にするがリアリティギャップの問題があり、ドメインランダム化だけでは、競争力を持つために実データでのファインチューニングが必要だった。

提案手法

DOPE は 6 ステージの全畳み込みネットワーク（VGG-19 の最初の 10 層と、convolutional pose machines に着想を得たステージ）であり、投影された直方体の 8 頂点と重心の信念マップ、および頂点から重心へ向かうベクトル場を出力する。ピークは貪欲法で物体の個体ごとにまとめられ、カメラの内部パラメータと物体の寸法とともに perspective-n-point（PnP）ソルバに渡されて姿勢が復元される。学習には、著者らが Unreal Engine 4 用に開発した NDDS プラグインでレンダリングした YCB 物体の画像を、ドメインランダム化で約 60k 枚、フォトリアリスティックで 60k 枚用いる。

主な知見

  • ドメインランダム化した合成データとフォトリアリスティックな合成データは互いに補い合う：120k の混合セットは、どちらか一方の種類だけのはるかに大きなセットを上回った。
  • 2D キーポイントを予測して PnP を解くことで、姿勢を直接回帰する手法とは異なり、カメラの内部パラメータがネットワークの重みに入り込まない。
  • ネットワークのステージを追加するごとに精度は上がり時間がかかる。後のステージはより大きな受容野を使って前の段階のあいまいさを解消するためである。
  • 合成データのみの学習は、別のカメラや極端な照明への汎化において PoseCNN を上回った。PoseCNN の実画像の学習データは、テストセットと同じカメラで撮影されたものだった。
  • レンダラがモデル化していない材質は見逃しの原因になる：ポークランチョンミート缶の反射する金属製の上面は、それが唯一見えている部分であるときには認識されなかった。

主な結果

  • YCB-Video において、合成データのみで学習した DOPE は 5 物体中 4 物体で PoseCNN（合成データと実際の YCB-Video データで学習）より ADD の曲線下面積が大きく、Baxter のグリッパーの把持誤差の限界とほぼ同じ 2 cm 未満でもより良い結果だった。
  • 砂糖の箱、ドメインランダム化データのみ：AUC は 2k 枚で 0.25、10k 枚で 54.22、100k 枚で約 60.6 と上昇し、300k 枚で最大の 66.64 に達した。フォトリアリスティックのみでは 600k 枚で最大の 62.94。120k の混合セットは 77.00 に達した。
  • 混合比率：一方のデータセット全体に加えてもう一方のデータセットを少なくとも 40% 含めていれば、すべてのネットワークで同等の性能だった。
  • ステージ数と時間（物体抽出と PnP を含む）：1 ステージで 57 ms に 46.44 AUC、6 ステージで 232 ms に 75.69 AUC。
  • クラッタ中での Baxter による上からの把持、物体ごとに 12 回の試行：クラッカーの箱 10 回、ポークランチョンミート缶 10 回、マスタードのボトル 11 回、砂糖の箱 11 回、トマトスープ缶 7 回（缶を横に倒した場合は 9 回）。

制限事項

  • 合成データが反射する金属製の上面をモデル化していないため、強く遮蔽されたポークランチョンミート缶はしばしば見逃される。
  • 丸い物体は上からの把持が難しい：直立したスープ缶は 12 回中 7 回成功した。
  • 把持は閉ループのサーボなしで行われる。誤差は姿勢推定、カメラとロボット間のキャリブレーション、不正確なロボット制御から生じ、制御が大きな役割を果たしているとみられる。
  • この手法は、寸法が既知の既知の剛体物体と既知のカメラ内部パラメータを前提としている。著者らは、物体の追加、対称性の扱い、閉ループでの精緻化を今後の課題として挙げている。
  • 極端な照明下での PoseCNN との比較は定性的なものにとどまる。

分野への影響

被引用数 778。論文は NVIDIA のプロジェクトページ上の動画とコードを示しており、そのページから DOPE のコードリポジトリにリンクしている。フォトリアリスティックな学習データは Falling Things（FAT）データセットとして公開され、NDDS データ生成プラグインは GitHub にある。

概要

ロボットマニピュレーション用の深層ニューラルネットワークの学習に合成データを用いることは、危険を伴わず安全に生成される、事前ラベル付きの学習データをほぼ無制限に得られる可能性を秘めている。これまでの合成データの主要な課題の 1 つは、いわゆるリアリティギャップを埋めること、すなわち合成データで学習したネットワークが実世界のデータに対しても正しく動作するようにすることであった。我々は、1 枚の RGB 画像から既知物体の 6-DoF 姿勢を推定するという文脈で、リアリティギャップを検討する。この問題については、ドメインランダム化したデータとフォトリアリスティックなデータを単純に組み合わせるだけで、リアリティギャップをうまく埋められることを示す。このように生成した合成データを用いて、実データと合成データの組み合わせで学習した最先端のネットワークと互角の性能を発揮できる、ワンショットの深層ニューラルネットワークを提案する。我々の知る限り、これは合成データのみで学習し、6-DoF 物体姿勢推定で最先端の性能を達成できる初めての深層ネットワークである。我々のネットワークは極端な照明条件を含む新しい環境にもよりよく汎化し、それについては定性的な結果を示す。このネットワークを用いて、実ロボットがクラッタ中の既知の家庭用品を実世界でセマンティックに把持するのに十分な精度で物体姿勢を推定するリアルタイムシステムを実証する。

リンク

  • arXiv 1809.10790: https://arxiv.org/abs/1809.10790
  • DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
  • PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
  • コード: https://github.com/NVlabs/Deep_Object_Pose
  • プロジェクトページ: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。