Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration
著者: Andrei Haidu, Michael Beetz · ICRA 2021
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
人が物理シミュレーションされた VR 世界でキッチン作業を行い、オンラインモニターがその行動をリーチング、把持、運搬、置く動作のイベントに分割して、ロボットが問い合わせできるよう KnowRob に格納する。
重要な理由
デモンストレーションは、仮想の身体部位も含め、ロボットと共有するオントロジーで最初から分割・アノテーションされた状態で得られるため、手作業のラベル付けは不要である。エピソードは行動の種類、物体の種類、部品関係によってリプレイ・検索でき、例えば冷蔵庫のドアに属する取っ手に対するすべての把持を取り出せる。
課題
マニピュレーションを学習するロボットは、妥当な労力で提供できる以上の経験を必要とすることが多いため、各デモンストレーションはより多くの構造化情報を含むべきである。著者らの以前の AMEvA システムは頭と手しか追跡せず、現実には不可能な場所にユーザーが手を届かせてしまい、肘や足など他の身体部位を使えず、行動の表現も粗かった。
提案手法
ユーザーは NVIDIA PhysX でシミュレーションされる Unreal Engine 4 の環境内で、全身および視線トラッキングを伴って行動する。手は 3D PID コントローラで駆動されるため重い物体は引き戻されたり滑り落ちたりし、把持はあらかじめ定義された把持スタイルを用いて物理から生じる。サブシンボリックなロガーはフレームごとの世界状態と視線を MongoDB に保存し、手の接触センサアレイと文法を備えたオンラインモニターが、把持、接触、supported-by、ピックアンドプレースのサブ動作を OWL イベントとして KnowRob に記録する。
主な知見
- 仮想の手を直接写像ではなく PID コントローラで駆動することで物体の重さが意味を持ち、両手で持ち上げるといった現実世界の戦略が引き出される。
- 指、親指、手のひらの接触センサアレイにより、本当の把持と単なる接触が区別される。把持には少なくとも 2 つの異なるセットからの接触が必要である。
- 開始・終了の特徴が明確でない動作フェーズ（リーチングの開始、持ち上げの終了、置く動作の開始）は、関心領域と、キャッシュした物体運動の遡りによって区切ることができる。
- supported-by（支持関係）は相対鉛直速度がほぼゼロの接触として検出されるため、トレーに載せて運ばれる物体もトレーに支えられているとみなされる。
- イベントモニターは物理エンジンのスリープ状態に従い、静止した物体に対してはオフになる。著者らは、これによりシステムが数千の物体までリアルタイムでスケールできるとしている。
主な結果
- 論文は精度や時間に関する定量的評価を報告しておらず、結果は定性的なデモと問い合わせの例である。
- 料理を盛った皿を片手の側方把持で持ち上げると、その重さで手からねじれて外れるが、両手把持では持ち上げに成功する。
- ピックアンドプレース動作は、リーチング、固定、スライドまたは持ち上げ、運搬、置く動作の各フェーズにオンラインで分割され、図 5 (a)–(j) に示されている。
- KnowRob への問い合わせにより、シリアル箱に対するスライド動作、冷蔵庫のドアの一部である取っ手に対する把持、サブ動作から構成されるピックアンドプレース動作を取り出してリプレイできる。
- エピソードごとの MongoDB コレクションはエピソード終了後に B 木としてインデックス化され、O(log n) の検索時間が得られる。
制限事項
- 全身トラッキングは一方向であり、アバターは物体を押せるがフィードバックを受けないため、ユーザーが壁や家具を通り抜けてシミュレーションを不安定にすることがある（著者らの記述）。
- リーチングの開始と持ち上げの終了には明確な特徴がなく、関心領域で近似している（著者らの記述）。
- 把持検出器は把持の文脈、例えば物体を運んでいるのか、引き出しの取っ手や動かせない家具をつかんでいるのかを区別しない（著者らの記述）。
- 視線は記録されているが行動検出の改善にはまだ使われておらず、大規模な公開データセットは今後の課題である（著者らの記述）。
- ロボット実験もイベント検出の定量的評価も報告されていない。
分野への影響
IEEE ICRA 2021 ヒューマンロボットインタラクション（HRI）最優秀論文賞のファイナリストに選ばれ、被引用数は 11 である。論文はコードやデータの公開について述べておらず、openEASE を通じた大規模データセットの公開を今後の課題としている。
概要
本論文では、人が行い、ロボットが理解できる日常活動を仮想環境から収集・アノテーションできるシステムを提示する。人の動きは、全身トラッキングとアイトラッキング機能を備えた市販の仮想現実デバイスを用いてシミュレーション世界に写像される。仮想世界でのすべてのインタラクションは物理シミュレーションされるため、動きとその効果は現実世界と密接に対応づけられる。活動の実行中、サブシンボリックなデータロガーが環境と人の視線をフレーム単位で記録し、オフラインでのシーン再現とリプレイを可能にする。物理エンジンと連携して、オンラインモニター（シンボリックなデータロガー）が、さまざまな文法を用いて、シミュレーション世界における事象、行動、およびそれらの効果を解析・記録する。
リンク
- arXiv 2011.13689: https://arxiv.org/abs/2011.13689
- DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
- PDF: https://arxiv.org/pdf/2011.13689v1