Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

Autoren: Luca Morando, Giuseppe Loianno · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Mixed-Reality-Framework, in dem ein Nutzer mit HoloLens 2 und ein Quadrotor ihre Karten zusammenführen und der Nutzer die Drohne mit Gestenkräften steuert, abgesichert durch RRT*-Planung und Abstoßung von Hindernissen.

Warum es wichtig ist

Drohnen für Inspektion, Lager sowie Suche und Rettung fliegen oft nahe an Hindernissen, die der Bediener nicht direkt sehen kann. Dem Bediener zu zeigen, was die Drohne kartiert, und seine Gestenkraft mit einem geplanten Pfad oder einem Abstoßungsfeld der Hindernisse zu kombinieren, bietet einen Weg, die Steuerung zwischen vollständiger Teleoperation und vollständiger Autonomie zu teilen.

Problem

Die Zusammenarbeit zwischen Mensch und Drohne ist noch meist einseitige Teleoperation mit Joysticks, Tastaturen oder Zeigegeräten und Rückmeldung auf flachen Monitoren. Frühere Extended-Reality-Schnittstellen für Drohnen zeigen die Drohne in einer vorab erstellten virtuellen Szene oder lassen den Nutzer Zielpositionen senden oder Trajektorien zeichnen, statt eine kontinuierliche räumliche Interaktion zu bieten, die an das gebunden ist, was die Drohne selbst wahrnimmt.

Lösungsansatz

Ein Spatial Awareness Module fusioniert die Stereo-Punktwolke der Drohne und die Punktwolke des Headsets zu einer Voxblox-Karte, die dem Nutzer als egozentrische Meshes durch die Wand und als exozentrische zusammengeführte Karte angezeigt wird. Die Pinch-and-Drag-Geste des Nutzers wird zu einer virtuellen Kraft, die einem Admittanzregler oberhalb des Positionsregelkreises der Drohne zugeführt wird: Im assistierten Modus hängt die Dämpfung vom Winkel zwischen dieser Kraft und dem aktuellen RRT*-Pfadsegment ab, und im freien Modus, bei abgeschaltetem Planer, wird eine exponentiell abklingende Abstoßungskraft von nahen Voxeln zur Kraft des Nutzers addiert.

Wichtigste Erkenntnisse

Werden die Voxelkarten von Drohne und Nutzer zusammengeführt, erweitert jeder die Sicht des anderen; in den Experimenten erscheinen zwei benachbarte Räume, die Drohne und Nutzer getrennt erkundet haben, in einer Karte.
Hängt die Dämpfung von der Richtung der Nutzerkraft relativ zum geplanten Segment ab, bewegt sich die Drohne leicht entlang des Pfads und widersteht seitlichem Ziehen, während eine größere Kraft sie dennoch vom Pfad wegziehen kann.
Der RRT*-Baum wächst nur innerhalb eines lokalen kreisförmigen Horizonts um die Drohne, sodass keine vorherige Karte nötig ist und der Nutzer lokale Minima des Planers auflösen kann.
Bei abgeschaltetem Planer wirkt eine über alle Voxel innerhalb des Horizonts summierte Abstoßungskraft als Sicherheitsebene für die freie Gestensteuerung.

Hauptergebnisse

Validiert in realen Flügen in einer 60 m² großen Flugarena im Agile Robotics and Perception Lab der NYU und einem angrenzenden Raum, wobei der Quadrotor auf 0,8 m Höhe gehalten wurde.
Im assistierten Modus (M = 2,4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹) zog der Nutzer die Drohne durch eine mit 0,68 m gemessene Lücke vom RRT*-Pfad weg, danach setzte der Planer den Weg zum Ziel fort.
Der RMSE zwischen Referenz- und kommandierter Trajektorie betrug 0,0373 m im freien Modus und 2,0142 m im assistierten Modus; die Autoren führen den größeren Wert auf das vom Nutzer gesteuerte Umgehungsmanöver zurück.
Im freien Modus mit F_s = 8 N, λ = 1 und einem Horizont von 1,5 m verwandelte die Abstoßung von Hindernissen einen vom Nutzer verlangten Pfad durch ein Hindernis in eine sicherere kommandierte Trajektorie.
Vier Nutzer testeten im Labor beide Modi; alle erreichten das Ziel in einer Umgebung mit dichten Hindernissen und gaben positives Feedback zu den visuellen Informationen und der einfachen Interaktion.

Einschränkungen

Die Benutzerfreundlichkeit wurde nur mit vier Nutzern geprüft; eine vollständige Nutzerstudie mit NASA Task Load Index, Fragebögen und quantitativen Daten zu einer Inspektionsaufgabe bleibt künftiger Arbeit überlassen.
Der geplante Vergleich zwischen einer 2D-Schnittstelle und dem vollständigen Mixed-Reality-Erlebnis wurde nicht durchgeführt.
Deckt einen Nutzer und eine Drohne ab; Teams aus mehreren Nutzern und Robotern sind künftige Arbeit.
Die quantitativen Ergebnisse stammen aus einzelnen illustrierten Läufen (Figs. 4 und 5) statt aus wiederholten Versuchen.

Wirkung auf das Fachgebiet

Finalist für den IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles, mit 14 Zitierungen. Die Autoren stellen das Framework als Open Source auf GitHub bereit und veröffentlichen ein Video der Experimente.

Zusammenfassung

Luftroboter haben das Potenzial, eine entscheidende Rolle bei der Unterstützung von Menschen in komplexen und gefährlichen Aufgaben zu spielen. Dennoch verlangt die künftige Industrie nach innovativen Lösungen, die den Interaktionsprozess zwischen Menschen und Drohnen vereinfachen, um nahtlose Zusammenarbeit und effizientes gemeinsames Arbeiten zu ermöglichen. In dieser Arbeit stellen wir ein neuartiges tele-immersives Framework vor, das die kognitive und physische Zusammenarbeit zwischen Menschen und Robotern durch Mixed Reality (MR) fördert. Dieses Framework umfasst einen neuartigen Ansatz zur bidirektionalen räumlichen Wahrnehmung und einen Ansatz zur multimodalen virtuell-physischen Interaktion. Ersterer verbindet die physische und die virtuelle Welt nahtlos und bietet bidirektionale egozentrische und exozentrische Umgebungsdarstellungen. Letzterer nutzt die vorgeschlagene räumliche Darstellung und verbessert die Zusammenarbeit weiter, indem er einen Roboterplanungsalgorithmus zur Hindernisvermeidung mit einer variablen Admittanzregelung kombiniert. Dies ermöglicht es Nutzern, Befehle auf Basis virtueller Kräfte zu geben und dabei mit der Umgebungskarte kompatibel zu bleiben. Wir validieren den vorgeschlagenen Ansatz, indem wir mehrere kollaborative Planungs- und Erkundungsaufgaben mit einer Drohne und einem mit einem MR-Headset ausgestatteten Nutzer durchführen.

Open Source Robotics