Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality
作者: Luca Morando, Giuseppe Loianno · ICRA 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
一個混合實境框架：HoloLens 2 使用者與四旋翼機合併各自的地圖，使用者以手勢力引導無人機，並由 RRT* 規劃與障礙物排斥確保安全。
為何重要
用於巡檢、倉儲與搜救的無人機，經常在操作員無法直接看到的障礙物附近飛行。讓操作員看到無人機所建立的地圖，並將操作員的手勢力與規劃路徑或障礙物排斥場結合，提供了一種在完全遠端操作與完全自主之間分享控制的方式。
問題
人與無人機的協作大多仍是單向的遠端操作，使用搖桿、鍵盤或指標裝置，並在平面螢幕上顯示回饋。早期的延展實境無人機介面是在事先建立的虛擬場景中顯示無人機，或讓使用者傳送目標位置或繪製軌跡，而不是提供與無人機本身所感知內容相連結的連續空間互動。
提出的方法
空間感知模組（Spatial Awareness Module）將無人機的立體點雲與頭戴裝置的點雲融合成一張 Voxblox 地圖，以自我中心的穿牆網格與外部中心的合併地圖兩種形式呈現給使用者。使用者的捏合拖曳手勢會轉成一個虛擬力，輸入到位於無人機位置迴路之上的導納控制器：在輔助模式下，阻尼取決於該力與目前 RRT* 路徑段之間的夾角；在自由模式下，規劃器關閉，來自附近體素、呈指數衰減的排斥力會加到使用者的力上。
關鍵見解
- 合併無人機與使用者的體素地圖，讓雙方都能延伸對方的視野；在實驗中，由無人機與使用者分別探索的兩個相鄰房間出現在同一張地圖中。
- 讓阻尼取決於使用者施力方向相對於規劃路徑段的方向，使無人機能沿路徑輕鬆移動並抵抗側向拉扯，而更大的力仍可將它拉離路徑。
- RRT* 樹只在無人機周圍的局部圓形視界內生長，因此不需要事先的地圖，使用者也能協助規劃器脫離局部極小值。
- 停用規劃器時，對視界內所有體素加總的排斥力，就成為自由手勢控制的安全層。
主要結果
- 在 NYU 敏捷機器人與感知實驗室（Agile Robotics and Perception Lab）一個 60 m² 的飛行場地與相鄰房間中進行實際飛行驗證，四旋翼機維持在 0.8 m 高度。
- 在輔助模式下（M = 2.4 kg，K = 20 kg·s⁻²，1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹），使用者將無人機拉離 RRT* 路徑，穿過一個實測寬 0.68 m 的間隙，之後規劃器恢復朝目標前進。
- 參考軌跡與指令軌跡之間的 RMSE 在自由模式下為 0.0373 m，在輔助模式下為 2.0142 m；作者將較大的數值歸因於使用者驅動的繞行操作。
- 在自由模式下，當 F_s = 8 N、λ = 1、視界為 1.5 m 時，障礙物排斥將使用者要求的一條穿過障礙物的路徑，轉成一條較安全的指令軌跡。
- 四位使用者在實驗室中測試兩種模式；所有人都在障礙物密集的環境中抵達目標，並對視覺資訊與互動的容易程度給予正面回饋。
限制
- 可用性只以四位使用者檢驗；使用 NASA Task Load Index、問卷與巡檢任務定量資料的完整使用者研究留待未來研究。
- 原先規劃的 2D 介面與完整混合實境體驗之間的比較尚未進行。
- 只涵蓋一位使用者與一架無人機；多位使用者與多台機器人組成的團隊是未來的研究方向。
- 定量結果來自單次圖示的執行（圖 4 與圖 5），而非重複試驗。
對領域的影響
入圍 IEEE ICRA 2024 無人飛行載具最佳論文獎決選，被引用 14 次。作者在 GitHub 上開源此框架，並公開實驗影片。
摘要
空中機器人有潛力在協助人類執行複雜且危險的任務上扮演關鍵角色。然而，未來的產業需要創新的解決方案，來簡化人與無人機之間的互動過程，以達成無縫的協作與有效率的共同作業。本文提出一個新的遠端沉浸式框架，透過混合實境（MR）促進人與機器人之間的認知與實體協作。此框架納入一種新的雙向空間感知方法，以及一種多模態虛擬與實體互動方法。前者無縫整合實體世界與虛擬世界，提供雙向的自我中心與外部中心環境表示。後者利用所提出的空間表示，將用於避障的機器人規劃演算法與可變導納控制結合，進一步強化協作。這讓使用者能根據虛擬力下達指令，同時與環境地圖保持相容。我們執行數項由一架無人機與一位配戴 MR 頭戴裝置的使用者共同參與的協作規劃與探索任務，以驗證所提出的方法。
連結
- arXiv 2402.04070: https://arxiv.org/abs/2402.04070
- DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
- PDF: https://arxiv.org/pdf/2402.04070v1
- 程式碼: https://github.com/arplaboratory/mri_ros_public