Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality
作者: Luca Morando, Giuseppe Loianno · ICRA 2024
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
一个混合现实框架：HoloLens 2 用户与四旋翼合并各自的地图，用户用手势力引导无人机，并由 RRT* 规划和障碍物排斥保证安全。
为何重要
用于巡检、仓库以及搜索救援的无人机，经常在操作员无法直接看到的障碍物附近飞行。向操作员展示无人机所建的地图，并把操作员的手势力与规划路径或障碍物排斥场结合起来，提供了一种在完全遥操作与完全自主之间共享控制的方式。
问题
人与无人机的协作大多仍是单向遥操作，使用操纵杆、键盘或指点设备，反馈显示在平面显示器上。早期的扩展现实无人机界面在预先构建的虚拟场景中显示无人机，或让用户发送目标位置或绘制轨迹，而不是提供与无人机自身感知相关联的连续空间交互。
提出的方法
空间感知模块（Spatial Awareness Module）把无人机的立体点云和头显的点云融合成一张 Voxblox 地图，以自我中心的穿墙网格和外部中心的合并地图两种形式展示给用户。用户的捏合拖动手势变成一个虚拟力，输入到位于无人机位置环之上的导纳控制器中：在辅助模式下，阻尼取决于该力与当前 RRT* 路径段之间的夹角；在自由模式下，规划器关闭，来自附近体素的指数衰减排斥力被加到用户的力上。
关键见解
- 合并无人机和用户的体素地图，使双方都能扩展对方的视野；在实验中，由无人机和用户分别探索的两个相邻房间出现在同一张地图中。
- 让阻尼取决于用户施力方向相对于规划路径段的方向，使无人机能沿路径轻松移动并抵抗侧向拉动，而更大的力仍可把它拉离路径。
- RRT* 树只在无人机周围的局部圆形视界内生长，因此不需要先验地图，用户还可以帮助规划器摆脱局部极小值。
- 在禁用规划器时，对视界内所有体素求和得到的排斥力充当自由手势控制的安全层。
主要结果
- 在 NYU 敏捷机器人与感知实验室（Agile Robotics and Perception Lab）一个 60 m² 的飞行场地及相邻房间中进行了真实飞行验证，四旋翼保持在 0.8 m 高度。
- 在辅助模式下（M = 2.4 kg，K = 20 kg·s⁻²，1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹），用户把无人机拉离 RRT* 路径，穿过一个实测宽 0.68 m 的缝隙，之后规划器恢复朝目标前进。
- 参考轨迹与指令轨迹之间的 RMSE 在自由模式下为 0.0373 m，在辅助模式下为 2.0142 m；作者把较大的数值归因于用户驱动的绕行机动。
- 在自由模式下，当 F_s = 8 N、λ = 1、视界为 1.5 m 时，障碍物排斥把用户要求的一条穿过障碍物的路径变成了一条更安全的指令轨迹。
- 四名用户在实验室中测试了两种模式；所有人都在障碍物密集的环境中到达了目标，并对视觉信息和交互的易用性给出了积极反馈。
局限
- 可用性只用四名用户检查过；使用 NASA Task Load Index、问卷以及巡检任务定量数据的完整用户研究留待未来工作。
- 计划中的 2D 界面与完整混合现实体验之间的比较尚未进行。
- 只涵盖一名用户和一架无人机；多用户和多机器人团队是未来工作。
- 定量结果来自单次图示运行（图 4 和图 5），而不是重复试验。
对领域的影响
入围 IEEE ICRA 2024 无人机最佳论文奖决选，被引用 14 次。作者在 GitHub 上开源了该框架，并发布了实验视频。
摘要
空中机器人有潜力在协助人类完成复杂和危险任务方面发挥关键作用。然而，未来的产业需要创新的解决方案来简化人与无人机之间的交互过程，以实现无缝协作和高效的协同工作。在本文中，我们提出一个新的远程沉浸式框架，通过混合现实（MR）促进人与机器人之间的认知协作和物理协作。该框架结合了一种新的双向空间感知方法和一种多模态虚拟-物理交互方法。前者无缝地整合物理世界与虚拟世界，提供双向的自我中心和外部中心环境表示。后者利用所提出的空间表示，把用于避障的机器人规划算法与可变导纳控制结合起来，进一步增强协作。这使用户能够基于虚拟力发出指令，同时保持与环境地图的兼容。我们通过执行多项涉及一架无人机和一名佩戴 MR 头显的用户的协作规划与探索任务，验证了所提出的方法。
链接
- arXiv 2402.04070: https://arxiv.org/abs/2402.04070
- DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
- PDF: https://arxiv.org/pdf/2402.04070v1
- 代码: https://github.com/arplaboratory/mri_ros_public