Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

著者: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ロボットが以前に扱った物体を認識し、その部分的な TSDF モデルを再利用する。成功率は 85% から 98% に上がり、持ち替えや再スキャンも少なくて済む。

重要な理由

倉庫やキッチンのように同じ物品を繰り返し目にするロボットは、ゼロから始める代わりに過去の遭遇を使って形状の不確実性を減らせる。論文は、これにより制約のある領域に物体を置くのに必要な追加のマニピュレーション手順が減ることを示している。

課題

既知の 3D モデルを持たない物体のためのピックアンドプレースシステムは、同じ物体を以前に扱ったことがあっても、通常すべての物体を新規として扱う。狭い空間に置くには、見えていない部分について保守的な体積を仮定せざるを得ず、そのため持ち替えや能動知覚の動作が余分に必要になり、安全な把持がまったく見つからないこともある。

提案手法

操作した各物体は、1 mm の切断符号付き距離場（TSDF）のボリュームと、異なる視点からの ResNet50 カラー特徴の 64 個のクラスタとして保存される。新しい物体はコサイン距離でデータセットと照合され、続いて GPU パーティクルフィルタが保存済みの部分モデルを位置合わせし、観測済みの自由空間内やテーブルの下にある姿勢を棄却する。同じパーティクルフィルタが手の中の物体を追跡し、その間に新しい深度ビューがモデルに統合される。

主な知見

• 占有格子モデルはタスクをまたいで再利用するには精度が足りなかったが、1 mm の TSDF ボリュームは足りた
• モデルを観測済みの自由空間内や支持平面の下に置く姿勢仮説を刈り込むことで、唯一の誤認識がタスク失敗を引き起こす前に棄却された
• 物体を 1 つの平均特徴ではなく複数の視点の特徴クラスタで表すことで、選んだしきい値での再現率が 0.211 から 0.886 に上がる
• 偽陰性は物体が新規として扱われるため効率を損なうだけだが、偽陽性はタスクを失敗させうるため、しきい値は高い適合率に合わせて設定されている
• 関心領域のみをレンダリングすることで、パーティクルフィルタの反復時間が従来の全画像手法の半分になる

主な結果

• タスク成功は 54/55（98%）、すべての物体を新規として扱うベースラインは 47/55（85%）
• 持ち替え動作が生じたタスクは 20/55（36%）、ベースラインは 37/55（67%）
• 能動知覚の動作が生じたタスクは 8/55（14%）、ベースラインは 35/55（63%）
• 保存済みモデルの位置合わせにより、保守的な形状不確実性の体積が平均 32%、最大 75% 減少した
• 49/55 の実験で物体が正しく認識され、偽陰性が 5 件、姿勢推定で棄却された偽陽性が 1 件あった
• 4 つの物体すべてで再構成モデルは真値との Chamfer 距離が 5 mm 以内。姿勢推定の反復は約 30 ms で、従来手法は 625 個のパーティクルで約 60 ms

制限事項

• 著者らは、TSDF 表現は薄い構造に向かないため、ボウルのような物体は再構成と追跡が難しいと述べている
• 乱雑なシーンは今後の課題であり、各タスクには分離された物体が 1 つだけ含まれる
• 物体が強く遮蔽されている場合、再構成モデルには追跡誤差による内部のノイズ点が含まれる
• 評価はシステムごとに 4 つの物体、55 タスクで行われ、物体の見えている部分が以前に見られていない場合に偽陰性が生じる

分野への影響

ICRA 2022 優秀マニピュレーション論文賞のファイナリストで、被引用数は 17 である。著者らは、パーティクルフィルタによる姿勢推定器を 6DoF 姿勢アノテーションツールとして GitHub でオープンソース化したと述べている。

概要

本研究は、幾何形状の事前情報なしに物体をピッキングし、制約のある配置を行うロボットパイプラインを提案する。すべての物体を新規とみなしていた同様のタスク向けの最近の取り組みと比べ、提案システムは以前に操作した物体を認識し、オンラインでのモデル再構成と再利用を行う。生涯にわたるマニピュレーションの過程で、システムはインタラクションした物体の特徴を学習し続け、その再構成モデルを更新する。以前に操作した物体のインスタンスが再び現れるたびに、システムはまずそれを認識し、次に現在の観測をもとに以前に再構成したモデルを位置合わせすることを目指す。このステップにより物体形状の不確実性が大きく減り、システムは現在観測できない物体の部分についてさえ推論できるようになる。また、マニピュレーション中に対象物体を能動的に知覚する必要が減るため、マニピュレーションの効率も向上する。再利用可能な再構成モデルを得るため、提案パイプラインは i) 物体表現としての TSDF、ii) 部分的な物体モデルの姿勢推定と追跡のための標準的なパーティクルフィルタアルゴリズムの変種、を採用する。さらに、操作した物体のデータセットを構築・維持する効果的な方法を提示する。一連の実世界のマニピュレーション実験により、物体を毎回新規として扱う代わりに、以前に操作した物体についてその場で生成された再構成モデルを再利用することで、将来のマニピュレーションタスクがより効果的かつ効率的になることを示す。

リンク

• arXiv 2109.13910: https://arxiv.org/abs/2109.13910
• DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
• PDF: https://arxiv.org/pdf/2109.13910v1