Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Reactive Human-To-Robot Handovers of Arbitrary Objects

著者: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

手をセグメント化し、残ったものをつかむ。視覚ベースのシステムにより、Franka Panda が 26 種類の異なる日用品を人から受け取り、物体が動くと再計画する。

重要な理由

物体は事前学習済み検出器のカテゴリに属している必要がない。著者らは、この点を最も近い先行研究の主なボトルネックとして挙げている。閉ループにより、ロボットが動き始めた後に人が物体を回しても、ロボットはそれに追従できる。これはその先行研究で報告された失敗の大半の原因であった。

課題

支援ロボットは多種多様な物体を人から受け取らなければならないが、受け渡し研究の大半は単一の物体しか使っておらず、調査対象の論文のうち 6 個を超える物体を使ったのは 1 本だけである。手から物体を受け取ることは静止物体の把持とは異なる。物体は動く可能性があり、指で一部が隠れ、アプローチ方向が制限され、ロボットの動きは安全だと感じられるものでなければならない。

提案手法

本システムは、Azure Kinect Body Tracking SDK で追跡した手の周囲で点群を切り出し、自動生成マスクで学習した ResNet-50 ベースの Feature Pyramid Network により RGB 画像中の手をセグメント化し、残りの点を物体とラベル付けする。6-DOF GraspNet が把持を提案し、それらはその把持評価器を用いた Metropolis-Hastings サンプリングでフレームごとに精緻化される。手と干渉する把持は除去され、Riemannian Motion Policies を備えた Robust Logical Dynamical Systems タスクモデルがアプローチ姿勢を選んで実行する。

主な知見

  • 明確に定義されたタスクである手のセグメンテーションを行い、切り出した残りの点を物体とラベル付けすることで、未知の物体を直接セグメント化する必要がなくなる。
  • 手の学習用マスクは、追跡した素手を点群から切り出して画像に投影することで、人手によるアノテーションなしに生成できる。
  • 前フレームの把持を把持評価器で精緻化することで、GraspNet を再学習せずに把持の時間的一貫性が保たれる。速い手の動きで生き残る把持が少なすぎる場合は、把持を再サンプリングする。
  • アプローチ姿勢を、直前の最良把持までの距離とホーム姿勢までの距離で評価することで、人を追跡しながら動作を滑らかに保てる。
  • 各把持をその Z 軸まわりに 180° 回転させると、2 指グリッパーの候補数が 2 倍になる。

主な結果

  • 手のセグメンテーションモデルは、同じ方法で収集した検証セットで、ピクセル精度 99.7%、頻度重み付き IoU 99.5%、平均 IoU 68.0% に達する。
  • バナナ、おもちゃのマヨネーズボトル、おもちゃのシリアル箱を、水平、45°、90° で持った系統的テスト：全体で受け渡し 1 回あたり 11.39 ± 4.29 s、成功率 90%。バナナ 100%、ボトル 90%、シリアル箱 82%。
  • ロボットが動き始めた後に物体を回転させた場合：0–45° では成功率 100%、11.81 ± 3.93 s。0–90° では 69%、15.41 ± 7.39 s。
  • 6 人の参加者が 10 種類の物体を受け渡したユーザー調査：平均アプローチ時間 10.7 ± 3.6 s、試行回数 1.3 ± 0.3 回、成功率 81.8%。ペン（50.0%）、マグカップ（54.5%）、スプーン（66.7%）が最も低かった。
  • 本文（V-A 節、V-B 節、VI-B 節）は、すべての物体が最終的に受け取られ、系統的テストでは 3 回以内の試行で受け取られたと述べているが、表 I と表 II ではいくつかの物体の成功率が 100% 未満となっている。
  • アンケート評価はすべての項目でおよそ 4 以上であり、参加者間のばらつきは小さかった。

制限事項

  • 失敗の原因は、暗い表面での深度欠損、セグメンテーションネットワークが物体を手とラベル付けしたこと、近くの物体による切り出し点群のノイズであった（著者らの記述）。
  • 逆運動学の計算コストが、ロボットが目標把持を更新できる速さを制限している。参加者はより速く滑らかな動きを求めた（著者らの記述）。
  • ユーザー調査の参加者は 6 人で、パンデミックの安全規定のため全員が研究室内から募集された（著者らの記述）。
  • 人は、ロボットが把持できる状態を残すように物体を持たなければならない。
  • 系統的評価は 1 人のユーザーと 3 つの物体で行われ、ロボットが 3 回成功するまで受け渡しが繰り返された。

分野への影響

IEEE ICRA 2021 ヒューマンロボットインタラクション（HRI）最優秀論文賞を受賞し、被引用数は 99 である。論文はさらなる結果と動画を掲載したプロジェクトページにリンクしているが、コードやデータセットの公開については述べていない。

概要

人とロボットの間の物体の受け渡しは、過去十年にわたりロボティクスで活発に研究されてきた分野である。しかし、外観、大きさ、形状、剛性が任意である多様な物体を受け渡すという課題に取り組んだ技術やシステムはごく少ない。本論文では、未知の物体について人からロボットへの反応的な受け渡しを可能にする視覚ベースのシステムを提示する。我々の手法は、閉ループのモーションプランニングと、リアルタイムで時間的に一貫した把持生成を組み合わせ、反応性と動作の滑らかさを確保する。本システムは物体の位置や向きの違いに頑健であり、剛体と非剛体の両方を把持できる。26 種類の多様な日用品からなる新しいベンチマークセット、そのうち 15 種類を初心者ユーザー（N=6）が受け渡すユーザー調査、そして物体のさまざまな渡し方を検証する系統的評価において、本手法の汎化性、使いやすさ、頑健性を実証する。さらなる結果と動画は https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects で見ることができる。

リンク

  • arXiv 2011.08961: https://arxiv.org/abs/2011.08961
  • DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
  • PDF: https://arxiv.org/pdf/2011.08961v1
  • プロジェクトページ: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。