Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

Autores: Luca Morando, Giuseppe Loianno · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Marco de realidad mixta en el que un usuario con HoloLens 2 y un cuadrotor fusionan sus mapas, y el usuario guía el dron con fuerzas gestuales que se mantienen seguras gracias a la planificación RRT* y a la repulsión de obstáculos.

Por qué importa

Los drones de inspección, de almacén y de búsqueda y rescate vuelan a menudo cerca de obstáculos que el operador no puede ver directamente. Mostrar al operador lo que mapea el dron y combinar la fuerza gestual del operador con una trayectoria planificada o con un campo de repulsión de obstáculos ofrece una manera de compartir el control entre la teleoperación completa y la autonomía completa.

Problema

La colaboración humano-dron sigue siendo en su mayoría una teleoperación unidireccional con joysticks, teclados o punteros y retroalimentación en monitores planos. Las interfaces de realidad extendida anteriores para drones muestran el dron en una escena virtual construida de antemano, o permiten al usuario enviar posiciones objetivo o dibujar trayectorias, en lugar de ofrecer una interacción espacial continua ligada a lo que percibe el propio dron.

Solución propuesta

Un módulo de conciencia espacial (Spatial Awareness Module) fusiona la nube de puntos estéreo del dron y la nube de puntos de las gafas en un único mapa Voxblox, que se muestra al usuario como mallas egocéntricas vistas a través de las paredes y como un mapa fusionado exocéntrico. El gesto de pellizcar y arrastrar del usuario se convierte en una fuerza virtual que alimenta un controlador de admitancia situado sobre el lazo de posición del dron: en el modo asistido, el amortiguamiento depende del ángulo entre esa fuerza y el segmento actual de la trayectoria RRT*, y en el modo libre, con el planificador desactivado, se suma a la fuerza del usuario una fuerza repulsiva de decaimiento exponencial procedente de los vóxeles cercanos.

Ideas clave

• Fusionar los mapas de vóxeles del dron y del usuario permite que cada uno amplíe la vista del otro; en los experimentos, dos habitaciones contiguas exploradas por separado por el dron y por el usuario aparecen en un único mapa.
• Hacer que el amortiguamiento dependa de la dirección de la fuerza del usuario respecto al segmento planificado permite que el dron se mueva con facilidad a lo largo de la trayectoria y resista los tirones laterales, mientras que una fuerza mayor todavía puede sacarlo de la trayectoria.
• El árbol RRT* crece solo dentro de un horizonte circular local alrededor del dron, por lo que no se necesita un mapa previo y el usuario puede resolver los mínimos locales del planificador.
• Con el planificador desactivado, una fuerza repulsiva sumada sobre todos los vóxeles dentro del horizonte actúa como capa de seguridad para el control gestual libre.

Resultados principales

• Validado en vuelos reales en una zona de vuelo de 60 m² del Agile Robotics and Perception Lab de la NYU y en una habitación contigua, con el cuadrotor mantenido a 0,8 m de altitud.
• En el modo asistido (M = 2,4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹), el usuario sacó el dron de la trayectoria RRT* a través de un hueco medido en 0,68 m, tras lo cual el planificador reanudó el avance hacia el objetivo.
• El RMSE entre la referencia y la trayectoria ordenada fue de 0,0373 m en el modo libre y de 2,0142 m en el modo asistido; los autores atribuyen el valor mayor a la maniobra de rodeo dirigida por el usuario.
• En el modo libre, con F_s = 8 N, λ = 1 y un horizonte de 1,5 m, la repulsión de obstáculos convirtió una trayectoria solicitada por el usuario a través de un obstáculo en una trayectoria ordenada más segura.
• Cuatro usuarios probaron ambos modos en el laboratorio; todos llegaron al objetivo en un entorno denso de obstáculos y valoraron positivamente la información visual y la facilidad de interacción.

Limitaciones

• La usabilidad se comprobó solo con cuatro usuarios; un estudio completo con usuarios que use el NASA Task Load Index, cuestionarios y datos cuantitativos en una tarea de inspección queda para trabajos futuros.
• No se ha realizado la comparación prevista entre una interfaz 2D y la experiencia completa de realidad mixta.
• Abarca un usuario y un dron; los equipos de varios usuarios y robots quedan para trabajos futuros.
• Los resultados cuantitativos proceden de ejecuciones únicas ilustradas (Figs. 4 y 5) en lugar de ensayos repetidos.

Impacto en el campo

Finalista del IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles, con 14 citas. Los autores publican el marco como código abierto en GitHub y publican un vídeo de los experimentos.

Resumen

Los robots aéreos tienen el potencial de desempeñar un papel crucial en la asistencia a los humanos en tareas complejas y peligrosas. Sin embargo, la industria del futuro exige soluciones innovadoras que agilicen el proceso de interacción entre humanos y drones para permitir una colaboración fluida y un trabajo conjunto eficiente. En este artículo presentamos un novedoso marco teleinmersivo que promueve la colaboración cognitiva y física entre humanos y robots mediante la realidad mixta (MR). Este marco incorpora un novedoso enfoque de conciencia espacial bidireccional y un enfoque de interacción virtual-física multimodal. El primero integra de forma fluida los mundos físico y virtual, ofreciendo representaciones del entorno egocéntricas y exocéntricas bidireccionales. El segundo, aprovechando la representación espacial propuesta, mejora aún más la colaboración combinando un algoritmo de planificación del robot para la evitación de obstáculos con un control de admitancia variable. Esto permite a los usuarios emitir órdenes basadas en fuerzas virtuales manteniendo la compatibilidad con el mapa del entorno. Validamos el enfoque propuesto realizando varias tareas colaborativas de planificación y exploración en las que participan un dron y un usuario equipado con unas gafas de MR.

Enlaces

• arXiv 2402.04070: https://arxiv.org/abs/2402.04070
• DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
• PDF: https://arxiv.org/pdf/2402.04070v1
• Código: https://github.com/arplaboratory/mri_ros_public