Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

저자: Luca Morando, Giuseppe Loianno · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

HoloLens 2 사용자와 쿼드로터가 지도를 병합하고, 사용자가 제스처 힘으로 드론을 조종하는 혼합 현실 프레임워크다. 안전은 RRT* 계획과 장애물 반발력이 지킨다.

중요한 이유

점검, 창고, 수색 구조용 드론은 운영자가 직접 볼 수 없는 장애물 근처를 자주 비행한다. 드론이 지도화한 것을 운영자에게 보여 주고, 운영자의 제스처 힘을 계획된 경로나 장애물 반발장과 결합하면, 완전한 원격 조작과 완전한 자율 사이에서 제어를 공유하는 방법이 생긴다.

문제

인간-드론 협업은 여전히 대부분 조이스틱, 키보드, 포인터를 사용하고 평면 모니터로 피드백을 받는 일방향 원격 조작이다. 기존의 확장 현실 드론 인터페이스는 미리 구축한 가상 장면에 드론을 보여 주거나, 사용자가 목표 위치를 보내거나 궤적을 그리게 할 뿐, 드론 자신이 인식하는 것과 연결된 연속적인 공간 상호작용을 제공하지 않는다.

제안 방법

Spatial Awareness Module은 드론의 스테레오 포인트 클라우드와 헤드셋의 포인트 클라우드를 하나의 Voxblox 지도로 융합하고, 이를 사용자에게 자기중심적인 벽 투시 메시와 외부중심적인 병합 지도로 보여 준다. 사용자의 집고 끄는(pinch-and-drag) 제스처는 가상 힘이 되어 드론의 위치 루프 위에 있는 어드미턴스 제어기에 입력된다. 보조 모드에서는 감쇠가 그 힘과 현재 RRT* 경로 구간 사이의 각도에 따라 달라지고, 플래너를 끈 자유 모드에서는 주변 복셀로부터 지수적으로 감쇠하는 반발력이 사용자의 힘에 더해진다.

핵심 통찰

• 드론과 사용자의 복셀 지도를 병합하면 서로가 상대의 시야를 넓힐 수 있다. 실험에서는 드론과 사용자가 각각 탐사한 인접한 두 방이 하나의 지도에 나타난다.
• 감쇠를 계획된 구간에 대한 사용자 힘의 방향에 따라 달라지게 하면, 드론은 경로를 따라서는 쉽게 움직이고 옆으로 끄는 힘에는 저항하며, 더 큰 힘으로는 여전히 경로 밖으로 끌어낼 수 있다.
• RRT* 트리는 드론 주변의 국소 원형 수평선 안에서만 자라므로 사전 지도가 필요 없고, 사용자가 플래너의 국소 최솟값을 해소할 수 있다.
• 플래너를 끈 상태에서는 수평선 안의 모든 복셀에 대해 합산한 반발력이 자유 제스처 제어의 안전 계층 역할을 한다.

주요 결과

• NYU의 Agile Robotics and Perception Lab에 있는 60 m² 비행장과 인접한 방에서 실제 비행으로 검증했으며, 쿼드로터는 0.8 m 고도로 유지되었다.
• 보조 모드(M = 2.4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹)에서 사용자는 0.68 m로 측정된 틈을 통해 드론을 RRT* 경로 밖으로 끌어냈고, 그 후 플래너는 목표를 향해 다시 진행했다.
• 기준 궤적과 지령 궤적 사이의 RMSE는 자유 모드에서 0.0373 m, 보조 모드에서 2.0142 m였다. 저자들은 더 큰 값을 사용자가 주도한 우회 기동 탓으로 본다.
• F_s = 8 N, λ = 1, 1.5 m 수평선의 자유 모드에서, 장애물 반발력은 사용자가 요청한 장애물을 관통하는 경로를 더 안전한 지령 궤적으로 바꾸었다.
• 사용자 4명이 실험실에서 두 모드를 모두 시험했다. 모두 장애물이 밀집한 환경에서 목표에 도달했으며, 시각 정보와 상호작용의 용이성에 대해 긍정적인 피드백을 주었다.

한계

• 사용성은 사용자 4명으로만 확인했다. NASA Task Load Index, 설문지, 점검 작업에 대한 정량 데이터를 사용하는 완전한 사용자 연구는 향후 과제로 남는다.
• 2D 인터페이스와 완전한 혼합 현실 경험 사이의 계획된 비교는 수행되지 않았다.
• 사용자 한 명과 드론 한 대만 다룬다. 여러 사용자와 로봇으로 이루어진 팀은 향후 과제이다.
• 정량적 결과는 반복 시행이 아니라 그림으로 제시된 단일 실행(Figs. 4와 5)에서 나온다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles 최종 후보에 올랐으며 인용 수는 14회다. 저자들은 프레임워크를 GitHub에 오픈 소스로 공개하고 실험 영상을 게시한다.

초록

공중 로봇은 복잡하고 위험한 작업에서 인간을 돕는 데 결정적인 역할을 할 잠재력이 있다. 그럼에도 미래 산업은 원활한 협업과 효율적인 공동 작업을 가능하게 하도록 인간과 드론 간 상호작용 과정을 간소화하는 혁신적인 해법을 요구한다. 본 논문에서는 혼합 현실(MR)을 통해 인간과 로봇 사이의 인지적·물리적 협업을 촉진하는 새로운 원격 몰입형 프레임워크를 제시한다. 이 프레임워크는 새로운 양방향 공간 인식 방식과 다중 모달 가상-물리 상호작용 방식을 통합한다. 전자는 물리 세계와 가상 세계를 매끄럽게 통합하여 양방향의 자기중심적·외부중심적 환경 표현을 제공한다. 후자는 제안된 공간 표현을 활용해, 장애물 회피를 위한 로봇 계획 알고리즘과 가변 어드미턴스 제어를 결합함으로써 협업을 더욱 강화한다. 이를 통해 사용자는 환경 지도와의 호환성을 유지하면서 가상의 힘에 기반한 명령을 내릴 수 있다. 우리는 드론과 MR 헤드셋을 착용한 사용자가 참여하는 여러 협업 계획 및 탐사 작업을 수행하여 제안한 접근법을 검증한다.

링크

• arXiv 2402.04070: https://arxiv.org/abs/2402.04070
• DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
• PDF: https://arxiv.org/pdf/2402.04070v1
• 코드: https://github.com/arplaboratory/mri_ros_public