Grasp Pose Detection in Point Clouds

著者: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

見えているあらゆる表面上で数千個の 6-DOF グリッパー姿勢をサンプリングし、局所点群の多視点投影に対して小さな CNN で各候補を採点し、ヒューリスティックで 1 つを選ぶ：密集したクラッタで成功率 93%。

重要な理由

この手法は実行時にセグメンテーション、物体の識別、CAD モデルのいずれも必要とせず、オープンワールドでのピッキングに適している。ロボット上でのアブレーションにより各段階の寄与が示されている：点群の品質、把持分類、把持選択ヒューリスティックはそれぞれ成功率を 9 から 40 ポイント変化させる。

課題

従来の把持パイプラインは CAD モデルを点群に位置合わせするが、これはノイズが多く欠けのある点群では難しく、すべての物体にモデルが存在することを前提としている。以前の把持検出手法は、単独の物体や軽度のクラッタで 75–95% の把持成功率に達していたが、実用には低すぎ、実際のクラッタを代表するものでもなかった。

提案手法

把持候補は見えているあらゆる表面上でサンプリングされる。点群のランダムな点で局所的な Darboux 標構を構築し、グリッパーモデルを接触するまで前方に押し出し、衝突がなく閉じ領域の内側に点がある姿勢を残す。各候補は、占有ボクセル、遮蔽ボクセル、表面法線の 3 つの投影から作る 15 チャネル（またはより低コストな 3 チャネル）の画像として符号化され、4 層の LeNet 型 CNN によって採点される。CNN は、実点群に位置合わせした BigBird メッシュ上で摩擦なしの対蹠把持を確認して生成した、ラベル付きの 1.5M 個の事例で学習される。

主な知見

• 把持の表現が重要である：表面法線と複数視点を含む 15 チャネル記述子は、Herzog/Kappler の 3 チャネル高さマップを分類精度で少なくとも 10% 上回る
• シミュレーションの CAD データでの事前学習は初期には役立つ（事前学習なしの 20000 イテレーションと同じ精度に 4000 イテレーションで到達）が、その効果は薄れていき、シミュレーションのみの学習では 83% にとどまり、実データを用いると約 90% だった
• 物体のカテゴリや個体がわかっていると精度が上がる：既知の円柱状の個体では分類精度が約 97%、事前知識なしでは約 92%
• 把持検出には高い正解率よりも高い適合率が必要であるため、論文では適合率 99% における再現率を測定している
• 検出された把持は物体分類器のための物体候補として使え、ロボットが名前で指定された物体を把持できるようになる

主な結果

• アクティブ点群（InfiniTAM を用いた手首センサ）：10 個の物体を 30 ラウンド行い、把持成功率 93%（288 回中 268 回）、物体の 89% を片付けた
• パッシブ点群（胴体に取り付けた 2 台の Asus Xtion Pro）：成功率 84%（138 回中 116 回）、物体の 77% を片付けた
• 把持選択ヒューリスティックなし：成功率 75%（155 回中 117 回）、把持分類なし：成功率 53%（142 回中 75 回）
• 適合率 99% における再現率：15 チャネル表現で 89%、12 チャネルで 82%、Herzog/Kappler の表現で 19%
• 66k 点の点群で候補 1k 個あたりの実行時間：3 チャネル記述子で 2.1 s、15 チャネルで約 8 s
• クラッタ中で把持を物体候補として利用：9 個の物体で物体分類精度 85.4%（1197 個の候補中 1023 個）

制限事項

• セグメンテーションを行わないため、隣接する 2 つの物体を 1 つとして扱う把持を検出器が出力することがあり、開口の大きいハンドではこれが増えると予想される
• 特定の物体の把持は物体分類に依存しており、その精度は実験室で 85% にとどまった。実環境で使う前に改善が必要である
• この手法は 2 指ハンド（または 2 指ハンドのように動作するハンド）に限られ、閉じ領域がより複雑なハンドではサンプリングの利点が失われる可能性がある
• Baxter のグリッパーの把持幅が 3–7 cm であるため試験物体が制限され、逆さまに落ちた 2 つの物体は手で起こす必要があった
• シミュレーションの深度画像から作った学習データは実センサへの転移がうまくいかない（精度 83% 対 約 90%）

分野への影響

被引用数 722。著者らは実装を C++ の ROS パッケージとして公開し（github.com/atenpas/gpd）、把持実験のための密集クラッタのベンチマークプロトコルを定義している。

概要

近年、物体の姿勢を推定することなく、センサデータから直接ロボットの把持構成を位置特定できる把持検出手法が数多く提案されている。その基本的な考え方は、把持の知覚をコンピュータビジョンにおける物体検出と同様に扱うことである。これらの手法は、ノイズを含み部分的に遮蔽された RGBD 画像または点群を入力とし、物体の CAD モデルが既知であることを仮定せずに、実行可能な把持の姿勢推定を出力する。これらの手法は把持に関する知識を新しい物体へうまく汎化するが、広く利用できるほど信頼性が高いことはまだ示されていない。多くの把持検出手法は、単独で、あるいは軽度のクラッタ中に置かれた未知物体に対して、75% から 95% の把持成功率（把持試行総数に対する把持成功数の割合）を達成している。これらの成功率は実用的な把持応用には低すぎるだけでなく、評価に用いられる軽度のクラッタのシナリオは、実世界の把持の実情を反映していないことが多い。本論文では、組み合わせることで把持検出性能を大きく向上させる複数の新しい工夫を提案する。各貢献による性能向上は、シミュレーションまたはロボットハードウェア上で定量的に測定する。最終的に、密集したクラッタ中に置かれた未知物体に対して、エンドツーエンドの把持成功率が平均 93% となる一連のロボット実験を報告する。

リンク

• arXiv 1706.09911: https://arxiv.org/abs/1706.09911
• DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
• PDF: https://arxiv.org/pdf/1706.09911v1
• コード: http://github.com/atenpas/gpd