Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality

Autori: Luca Morando, Giuseppe Loianno · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Framework di realtà mista in cui un utente con HoloLens 2 e un quadricottero uniscono le loro mappe, e l'utente guida il drone con forze gestuali rese sicure dalla pianificazione RRT* e dalla repulsione dagli ostacoli.

Perché è importante

I droni per ispezione, magazzini e ricerca e soccorso volano spesso vicino a ostacoli che l'operatore non può vedere direttamente. Mostrare all'operatore ciò che il drone mappa e combinare la forza gestuale dell'operatore con un percorso pianificato o con un campo di repulsione dagli ostacoli offre un modo per condividere il controllo tra la teleoperazione completa e l'autonomia completa.

Problema

La collaborazione uomo-drone è ancora per lo più una teleoperazione unidirezionale con joystick, tastiere o puntatori e feedback su monitor piatti. Le precedenti interfacce di realtà estesa per droni mostrano il drone in una scena virtuale costruita in anticipo, oppure permettono all'utente di inviare posizioni obiettivo o disegnare traiettorie, invece di offrire un'interazione spaziale continua legata a ciò che il drone stesso percepisce.

Soluzione proposta

Uno Spatial Awareness Module (modulo di consapevolezza spaziale) fonde la nuvola di punti stereo del drone e la nuvola di punti del visore in un'unica mappa Voxblox, mostrata all'utente come mesh egocentriche visibili attraverso le pareti e come mappa unita esocentrica. Il gesto di pizzicare e trascinare dell'utente diventa una forza virtuale fornita a un controllore ad ammettenza posto sopra l'anello di posizione del drone: in modalità assistita lo smorzamento dipende dall'angolo tra tale forza e il segmento corrente del percorso RRT*, e in modalità libera, con il pianificatore spento, alla forza dell'utente si somma una forza repulsiva a decadimento esponenziale dovuta ai voxel vicini.

Idee chiave

Unire le mappe a voxel del drone e dell'utente permette a ciascuno di estendere la vista dell'altro; negli esperimenti, due stanze adiacenti esplorate separatamente dal drone e dall'utente compaiono in un'unica mappa.
Far dipendere lo smorzamento dalla direzione della forza dell'utente rispetto al segmento pianificato permette al drone di muoversi facilmente lungo il percorso e di resistere alle trazioni laterali, mentre una forza maggiore può comunque portarlo fuori dal percorso.
L'albero RRT* cresce solo all'interno di un orizzonte circolare locale attorno al drone, quindi non serve una mappa preesistente e l'utente può risolvere i minimi locali del pianificatore.
Con il pianificatore disattivato, una forza repulsiva sommata su tutti i voxel entro l'orizzonte funge da livello di sicurezza per il controllo gestuale libero.

Risultati principali

Validato in voli reali in un'arena di volo di 60 m² presso l'Agile Robotics and Perception Lab della NYU e in una stanza adiacente, con il quadricottero mantenuto a 0,8 m di quota.
In modalità assistita (M = 2,4 kg, K = 20 kg·s⁻², 1 kg·s⁻¹ ≤ D ≤ 70 kg·s⁻¹), l'utente ha portato il drone fuori dal percorso RRT* attraverso un varco misurato in 0,68 m, dopodiché il pianificatore ha ripreso verso l'obiettivo.
L'RMSE tra il riferimento e la traiettoria comandata è stato di 0,0373 m in modalità libera e di 2,0142 m in modalità assistita; gli autori attribuiscono il valore maggiore alla manovra di aggiramento guidata dall'utente.
In modalità libera, con F_s = 8 N, λ = 1 e un orizzonte di 1,5 m, la repulsione dagli ostacoli ha trasformato un percorso richiesto dall'utente attraverso un ostacolo in una traiettoria comandata più sicura.
Quattro utenti hanno provato entrambe le modalità in laboratorio; tutti hanno raggiunto il bersaglio in un ambiente denso di ostacoli e hanno dato un riscontro positivo sulle informazioni visive e sulla facilità di interazione.

Limiti

L'usabilità è stata verificata con soli quattro utenti; uno studio completo con utenti che usi il NASA Task Load Index, questionari e dati quantitativi su un compito di ispezione è lasciato a lavori futuri.
Il confronto previsto tra un'interfaccia 2D e l'esperienza completa di realtà mista non è stato svolto.
Riguarda un utente e un drone; i team di più utenti e robot sono lavoro futuro.
I risultati quantitativi provengono da singole esecuzioni illustrate (Figg. 4 e 5) e non da prove ripetute.

Impatto sul settore

Finalista dell'IEEE ICRA 2024 Best Paper Award on Unmanned Aerial Vehicles, con 14 citazioni. Gli autori rilasciano il framework come open source su GitHub e pubblicano un video degli esperimenti.

Abstract

I robot aerei hanno il potenziale per svolgere un ruolo cruciale nell'assistere gli esseri umani in compiti complessi e pericolosi. Tuttavia, l'industria del futuro richiede soluzioni innovative che semplifichino il processo di interazione tra esseri umani e droni, per consentire una collaborazione fluida e un lavoro congiunto efficiente. In questo articolo presentiamo un nuovo framework tele-immersivo che promuove la collaborazione cognitiva e fisica tra esseri umani e robot attraverso la Mixed Reality (MR). Il framework integra un nuovo approccio di consapevolezza spaziale bidirezionale e un approccio di interazione virtuale-fisica multimodale. Il primo integra in modo fluido il mondo fisico e quello virtuale, offrendo rappresentazioni dell'ambiente egocentriche ed esocentriche bidirezionali. Il secondo, sfruttando la rappresentazione spaziale proposta, migliora ulteriormente la collaborazione combinando un algoritmo di pianificazione del robot per l'evitamento degli ostacoli con un controllo ad ammettenza variabile. Ciò consente agli utenti di impartire comandi basati su forze virtuali mantenendo la compatibilità con la mappa dell'ambiente. Validiamo l'approccio proposto eseguendo diversi compiti collaborativi di pianificazione ed esplorazione che coinvolgono un drone e un utente dotato di visore MR.

Link

arXiv 2402.04070: https://arxiv.org/abs/2402.04070
DOI 10.1109/ICRA57147.2024.10611351: https://doi.org/10.1109/ICRA57147.2024.10611351
PDF: https://arxiv.org/pdf/2402.04070v1
Codice: https://github.com/arplaboratory/mri_ros_public