Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality
著者: Luca Morando, Giuseppe Loianno · ICRA 2024
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
HoloLens 2 のユーザーとクアッドロータが互いの地図を統合し、ユーザーはジェスチャーの力でドローンを誘導する複合現実フレームワーク。安全性は RRT* による計画と障害物からの反発で保たれる。
重要な理由
点検、倉庫、捜索救助のためのドローンは、操縦者が直接見ることのできない障害物の近くを飛ぶことが多い。ドローンがマッピングしたものを操縦者に示し、操縦者のジェスチャーの力を計画経路や障害物の反発場と組み合わせることで、完全なテレオペレーションと完全な自律の間で制御を分担する方法が得られる。
課題
人間とドローンの協働は今なお、ジョイスティック、キーボード、ポインターと平面モニター上のフィードバックによる一方向のテレオペレーションが中心である。これまでの拡張現実のドローンインターフェースは、事前に構築した仮想シーンにドローンを表示したり、ユーザーにゴール位置を送らせたり軌道を描かせたりするもので、ドローン自身が知覚しているものに結びついた連続的な空間インタラクションを提供していない。
提案手法
Spatial Awareness Module が、ドローンのステレオ点群とヘッドセットの点群を一つの Voxblox 地図に統合し、自己中心的な壁越しのメッシュと外部中心的な統合地図としてユーザーに示す。ユーザーのピンチ＆ドラッグのジェスチャーは仮想的な力となり、ドローンの位置ループの上に置いたアドミタンス制御器に入力される。アシストモードでは、減衰はその力と現在の RRT* 経路区間とのなす角に依存する。プランナーをオフにしたフリーモードでは、近くのボクセルから指数関数的に減衰する反発力がユーザーの力に加えられる。
主な知見
- ドローンとユーザーのボクセルマップを統合すると、それぞれが相手の視野を広げられる。実験では、ドローンとユーザーが別々に探索した隣接する 2 つの部屋が一つの地図に現れる。
- 減衰を計画経路の区間に対するユーザーの力の方向に依存させることで、ドローンは経路に沿っては容易に動き、横方向の引っ張りには抵抗する。一方で、より大きな力をかければ経路から引き離すこともできる。
- RRT* の木はドローンの周囲の局所的な円形ホライズン内でのみ成長するため、事前の地図は不要で、ユーザーがプランナーの局所最小を解消できる。
- プランナーを無効にした場合、ホライズン内のすべてのボクセルについて合計した反発力が、自由なジェスチャー制御の安全層として働く。
主な結果
- NYU の Agile Robotics and Perception Lab にある 60 m² の飛行アリーナと隣接する部屋で、クアッドロータを高度 0.8 m に保って実飛行で検証した。
- アシストモード（M = 2.4 kg、K = 20 kg·s⁻²、1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹）では、ユーザーがドローンを RRT* 経路から引き離して実測 0.68 m の隙間を通過させ、その後プランナーがゴールへの計画を再開した。
- 参照軌道と指令軌道の RMSE は、フリーモードで 0.0373 m、アシストモードで 2.0142 m だった。著者らは大きい方の値を、ユーザーが主導した迂回操作によるものとしている。
- F_s = 8 N、λ = 1、ホライズン 1.5 m のフリーモードでは、障害物からの反発により、ユーザーが要求した障害物を通り抜ける経路がより安全な指令軌道に変わった。
- 4 人のユーザーがラボで両モードをテストした。全員が障害物の密な環境で目標に到達し、視覚情報とインタラクションの容易さについて肯定的なフィードバックを示した。
制限事項
- ユーザビリティは 4 人のユーザーでしか確認していない。NASA Task Load Index、質問票、点検タスクでの定量データを用いた本格的なユーザー研究は今後の課題とされている。
- 計画されていた 2D インターフェースと完全な複合現実体験との比較はまだ行われていない。
- 対象はユーザー 1 人とドローン 1 機で、複数のユーザーとロボットからなるチームは今後の課題である。
- 定量的な結果は、反復試行ではなく図示した単一の実行（図 4 と図 5）から得たものである。
分野への影響
IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles のファイナリストで、被引用数は 14。著者らはフレームワークを GitHub でオープンソースとして公開し、実験の動画も公開している。
概要
空中ロボットは、複雑で危険なタスクで人間を支援するうえで重要な役割を果たす可能性をもつ。とはいえ、将来の産業では、シームレスな協働と効率的な共同作業を可能にするため、人間とドローンのインタラクションのプロセスを合理化する革新的な解決策が求められる。本論文では、複合現実（MR）を通じて人間とロボットの認知的かつ物理的な協働を促進する、新しいテレイマーシブなフレームワークを提示する。このフレームワークは、新しい双方向の空間認識と、マルチモーダルな仮想と物理のインタラクションのアプローチを組み込んでいる。前者は物理世界と仮想世界をシームレスに統合し、双方向の自己中心的および外部中心的な環境表現を提供する。後者は提案した空間表現を活用し、障害物回避のためのロボットの計画アルゴリズムと可変アドミタンス制御を組み合わせることで、協働をさらに強化する。これによりユーザーは、環境地図との整合性を保ちながら、仮想的な力に基づいて指令を出せる。ドローンと MR ヘッドセットを装着したユーザーによる複数の協調的な計画と探索のタスクを実施し、提案手法を検証する。
リンク
- arXiv 2402.04070: https://arxiv.org/abs/2402.04070
- DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
- PDF: https://arxiv.org/pdf/2402.04070v1
- コード: https://github.com/arplaboratory/mri_ros_public