Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

Autores: Luca Morando, Giuseppe Loianno · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Framework de realidade mista em que um usuário com HoloLens 2 e um quadrirrotor fundem seus mapas, e o usuário guia o drone com forças gestuais mantidas seguras pelo planejamento RRT* e pela repulsão de obstáculos.

Por que importa

Drones para inspeção, armazéns e busca e salvamento frequentemente voam perto de obstáculos que o operador não consegue ver diretamente. Mostrar ao operador o que o drone mapeia e combinar a força gestual do operador com um caminho planejado ou com um campo de repulsão de obstáculos oferece uma forma de compartilhar o controle entre a teleoperação completa e a autonomia completa.

Problema

A colaboração humano-drone ainda é, em sua maioria, uma teleoperação unidirecional com joysticks, teclados ou ponteiros e feedback em monitores planos. Interfaces anteriores de realidade estendida para drones mostram o drone em uma cena virtual construída previamente, ou permitem que o usuário envie posições-alvo ou desenhe trajetórias, em vez de oferecer uma interação espacial contínua ligada ao que o próprio drone percebe.

Solução proposta

Um Spatial Awareness Module (módulo de consciência espacial) funde a nuvem de pontos estéreo do drone e a nuvem de pontos do headset em um único mapa Voxblox, mostrado ao usuário como malhas egocêntricas vistas através das paredes e como um mapa fundido exocêntrico. O gesto de pinçar e arrastar do usuário torna-se uma força virtual enviada a um controlador de admitância acima da malha de posição do drone: no modo assistido, o amortecimento depende do ângulo entre essa força e o segmento atual do caminho RRT*, e no modo livre, com o planejador desligado, uma força repulsiva de decaimento exponencial vinda dos voxels próximos é somada à força do usuário.

Principais ideias

Fundir os mapas de voxels do drone e do usuário permite que cada um amplie a visão do outro; nos experimentos, duas salas adjacentes exploradas separadamente pelo drone e pelo usuário aparecem em um único mapa.
Fazer o amortecimento depender da direção da força do usuário em relação ao segmento planejado permite que o drone se mova com facilidade ao longo do caminho e resista a puxões laterais, enquanto uma força maior ainda pode tirá-lo do caminho.
A árvore RRT* cresce apenas dentro de um horizonte circular local ao redor do drone, então nenhum mapa prévio é necessário e o usuário pode resolver mínimos locais do planejador.
Com o planejador desativado, uma força repulsiva somada sobre todos os voxels dentro do horizonte atua como camada de segurança para o controle gestual livre.

Principais resultados

Validado em voos reais em uma arena de voo de 60 m² no Agile Robotics and Perception Lab da NYU e em uma sala adjacente, com o quadrirrotor mantido a 0,8 m de altitude.
No modo assistido (M = 2,4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹), o usuário puxou o drone para fora do caminho RRT* através de uma abertura medida em 0,68 m, depois do que o planejador retomou o avanço em direção ao objetivo.
O RMSE entre a referência e a trajetória comandada foi de 0,0373 m no modo livre e de 2,0142 m no modo assistido; os autores atribuem o valor maior à manobra de desvio conduzida pelo usuário.
No modo livre, com F_s = 8 N, λ = 1 e um horizonte de 1,5 m, a repulsão de obstáculos transformou um caminho solicitado pelo usuário através de um obstáculo em uma trajetória comandada mais segura.
Quatro usuários testaram os dois modos no laboratório; todos alcançaram o alvo em um ambiente denso de obstáculos e deram feedback positivo sobre a informação visual e a facilidade de interação.

Limitações

A usabilidade foi verificada com apenas quatro usuários; um estudo completo com usuários usando o NASA Task Load Index, questionários e dados quantitativos em uma tarefa de inspeção fica para trabalhos futuros.
A comparação planejada entre uma interface 2D e a experiência completa de realidade mista não foi feita.
Abrange um usuário e um drone; equipes de vários usuários e robôs ficam para trabalhos futuros.
Os resultados quantitativos vêm de execuções únicas ilustradas (Figs. 4 e 5), e não de ensaios repetidos.

Impacto na área

Finalista do IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles, com 14 citações. Os autores disponibilizam o framework como código aberto no GitHub e publicam um vídeo dos experimentos.

Resumo

Robôs aéreos têm o potencial de desempenhar um papel crucial no auxílio a humanos em tarefas complexas e perigosas. No entanto, a indústria do futuro exige soluções inovadoras que simplifiquem o processo de interação entre humanos e drones, para permitir uma colaboração fluida e um trabalho conjunto eficiente. Neste artigo, apresentamos um novo framework teleimersivo que promove a colaboração cognitiva e física entre humanos e robôs por meio da Realidade Mista (MR). Esse framework incorpora uma nova abordagem de consciência espacial bidirecional e uma abordagem de interação virtual-física multimodal. A primeira integra de forma fluida os mundos físico e virtual, oferecendo representações do ambiente egocêntricas e exocêntricas bidirecionais. A segunda, aproveitando a representação espacial proposta, melhora ainda mais a colaboração combinando um algoritmo de planejamento do robô para desvio de obstáculos com um controle de admitância variável. Isso permite que os usuários emitam comandos baseados em forças virtuais, mantendo a compatibilidade com o mapa do ambiente. Validamos a abordagem proposta realizando várias tarefas colaborativas de planejamento e exploração envolvendo um drone e um usuário equipado com um headset de MR.

Open Source Robotics