Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

Auteurs: Luca Morando, Giuseppe Loianno · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Cadre de réalité mixte dans lequel un utilisateur équipé d'un HoloLens 2 et un quadrirotor fusionnent leurs cartes, et l'utilisateur dirige le drone par des forces gestuelles rendues sûres par la planification RRT* et la répulsion des obstacles.

Pourquoi c'est important

Les drones d'inspection, d'entrepôt et de recherche et sauvetage volent souvent près d'obstacles que l'opérateur ne peut pas voir directement. Montrer à l'opérateur ce que cartographie le drone, et combiner la force gestuelle de l'opérateur avec un chemin planifié ou un champ de répulsion des obstacles, offre un moyen de partager la commande entre téléopération complète et autonomie complète.

Problème

La collaboration humain-drone reste surtout une téléopération à sens unique avec des joysticks, des claviers ou des pointeurs et un retour sur des écrans plats. Les interfaces de drones en réalité étendue antérieures montrent le drone dans une scène virtuelle construite à l'avance, ou permettent à l'utilisateur d'envoyer des positions cibles ou de dessiner des trajectoires, plutôt que d'offrir une interaction spatiale continue liée à ce que le drone perçoit lui-même.

Solution proposée

Un Spatial Awareness Module fusionne le nuage de points stéréo du drone et le nuage de points du casque en une seule carte Voxblox, présentée à l'utilisateur sous forme de maillages égocentriques vus à travers les murs et d'une carte fusionnée exocentrique. Le geste de pincer-glisser de l'utilisateur devient une force virtuelle transmise à un contrôleur en admittance placé au-dessus de la boucle de position du drone : en mode assisté, l'amortissement dépend de l'angle entre cette force et le segment courant du chemin RRT*, et en mode libre, avec le planificateur désactivé, une force répulsive à décroissance exponentielle provenant des voxels proches est ajoutée à la force de l'utilisateur.

Idées clés

• Fusionner les cartes de voxels du drone et de l'utilisateur permet à chacun d'étendre la vue de l'autre ; dans les expériences, deux pièces adjacentes explorées séparément par le drone et par l'utilisateur apparaissent dans une seule carte.
• Faire dépendre l'amortissement de la direction de la force de l'utilisateur par rapport au segment planifié permet au drone de se déplacer facilement le long du chemin et de résister aux tractions latérales, tandis qu'une force plus grande peut quand même l'écarter du chemin.
• L'arbre RRT* ne croît que dans un horizon circulaire local autour du drone, de sorte qu'aucune carte préalable n'est nécessaire et que l'utilisateur peut résoudre les minima locaux du planificateur.
• Avec le planificateur désactivé, une force répulsive sommée sur tous les voxels situés dans l'horizon sert de couche de sécurité pour la commande gestuelle libre.

Principaux résultats

• Validé lors de vols réels dans une arène de vol de 60 m² de l'Agile Robotics and Perception Lab de NYU et dans une pièce adjacente, le quadrirotor étant maintenu à 0,8 m d'altitude.
• En mode assisté (M = 2,4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹), l'utilisateur a écarté le drone du chemin RRT* à travers un passage mesuré à 0,68 m, après quoi le planificateur a repris vers le but.
• Le RMSE entre la trajectoire de référence et la trajectoire commandée était de 0,0373 m en mode libre et de 2,0142 m en mode assisté ; les auteurs attribuent la valeur plus élevée à la manœuvre de contournement menée par l'utilisateur.
• En mode libre avec F_s = 8 N, λ = 1 et un horizon de 1,5 m, la répulsion des obstacles a transformé un chemin demandé par l'utilisateur à travers un obstacle en une trajectoire commandée plus sûre.
• Quatre utilisateurs ont testé les deux modes au laboratoire ; tous ont atteint la cible dans un environnement dense en obstacles et ont donné un retour positif sur l'information visuelle et la facilité d'interaction.

Limites

• L'utilisabilité n'a été vérifiée qu'avec quatre utilisateurs ; une étude utilisateur complète utilisant le NASA Task Load Index, des questionnaires et des données quantitatives sur une tâche d'inspection est laissée à des travaux futurs.
• La comparaison prévue entre une interface 2D et l'expérience complète de réalité mixte n'a pas été réalisée.
• Couvre un utilisateur et un drone ; les équipes de plusieurs utilisateurs et robots relèvent de travaux futurs.
• Les résultats quantitatifs proviennent d'exécutions uniques illustrées (Figs. 4 et 5) plutôt que d'essais répétés.

Impact sur le domaine

Finaliste du prix IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles, avec 14 citations. Les auteurs publient le cadre en open source sur GitHub ainsi qu'une vidéo des expériences.

Résumé

Les robots aériens ont le potentiel de jouer un rôle crucial pour assister les humains dans des tâches complexes et dangereuses. Néanmoins, l'industrie de demain exige des solutions innovantes pour simplifier le processus d'interaction entre humains et drones afin de permettre une collaboration fluide et un travail en commun efficace. Dans cet article, nous présentons un nouveau cadre télé-immersif qui favorise la collaboration cognitive et physique entre humains et robots grâce à la réalité mixte (MR). Ce cadre intègre une nouvelle approche de perception spatiale bidirectionnelle et une approche d'interaction virtuelle-physique multimodale. La première intègre de manière fluide les mondes physique et virtuel, en offrant des représentations bidirectionnelles égocentriques et exocentriques de l'environnement. La seconde, en tirant parti de la représentation spatiale proposée, renforce encore la collaboration en combinant un algorithme de planification robotique pour l'évitement des obstacles avec une commande en admittance variable. Cela permet aux utilisateurs d'émettre des commandes fondées sur des forces virtuelles tout en restant compatibles avec la carte de l'environnement. Nous validons l'approche proposée en réalisant plusieurs tâches collaboratives de planification et d'exploration impliquant un drone et un utilisateur équipé d'un casque MR.

Liens

• arXiv 2402.04070: https://arxiv.org/abs/2402.04070
• DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
• PDF: https://arxiv.org/pdf/2402.04070v1
• Code: https://github.com/arplaboratory/mri_ros_public