GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Autori: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un VLA compatto per quadricotteri, addestrato con RL differenziabile in un simulatore di 3D Gaussian Splatting con una testa mixture-of-experts, gira interamente a bordo e segue istruzioni in linguaggio naturale.

Perché è importante

Dimostra che una policy di volo compatta condizionata dal linguaggio può girare interamente su un piccolo computer di bordo a 25 Hz, senza infrastrutture esterne. L'addestramento richiede circa 7 ore su una RTX 4090 e la policy addestrata in simulazione vola su hardware reale senza ulteriori regolazioni.

Problema

I droni guidati dal linguaggio o usano un LLM per scegliere tra abilità predefinite tramite chiamate API, lasciando uno scarto rispetto al controllo di basso livello, oppure si affidano a modelli VLA con miliardi di parametri che non possono girare sul computer di bordo di un drone e richiedono collegamenti con una stazione di terra. I precedenti VLA per droni erano limitati alle gare o venivano valutati solo in simulazione.

Soluzione proposta

GRaD-Nav++ codifica l'istruzione e la vista RGB del drone con un modello CLIP congelato, eseguito in modo asincrono ogni 10 passi di controllo, e combina il risultato con la profondità sottoposta a min-pooling, una stima di contesto da un beta-VAE e lo stato del drone. Una policy mixture-of-experts a due esperti mappa questi input in comandi di velocità angolare del corpo e di spinta. È addestrata con RL differenziabile in una scena fotorealistica di 3D Gaussian Splatting accoppiata a un modello differenziabile di quadricottero, così i gradienti della policy fluiscono attraverso la dinamica.

Idee chiave

L'RL differenziabile attraverso il rendering 3DGS e la dinamica del quadricottero ha appreso la policy linguistica multi-task, mentre PPO con lo stesso VLM ha fallito entro 1x10^7 passi.
Il VLM ancora le istruzioni alla scena visiva invece di limitarsi a codificare il testo: sostituirlo con codici di task one-hot ha dato un successo reale di 0/24 sui task addestrati.
Una piccola testa mixture-of-experts (due esperti, instradamento top-2) ha evitato l'oblio catastrofico quando l'addestramento alternava gli ambienti, cosa che MLP di pari dimensioni o più grandi non hanno ottenuto.
Eseguire CLIP in modo asincrono e non usare una CNN separata per l'RGB-D mantiene veloce l'inferenza a bordo; la profondità è ridotta a un vettore di 32 valori con min-pooling per evitare le collisioni.
Quando l'istruzione cambia in volo, la similarità testo-immagine di CLIP cala e poi risale mentre il drone ri-ancora l'istruzione, e la policy completa il nuovo task.

Risultati principali

Generalizzazione multi-task in simulazione: 83 % (20/24) di successo sui task addestrati e 75 % (9/12) sui task mai visti; PPO ha ottenuto lo 0 % e l'ablazione senza VLM il 4 % (1/24) e lo 0 %.
Su hardware reale: 67 % (16/24) di successo sui task addestrati e 50 % (6/12) sui task mai visti.
Adattamento a più ambienti: 81 % di successo medio negli ambienti simulati; l'abstract riporta il 67 % nei contesti reali, mentre la tabella reale dell'articolo conta 18 prove su 24 (75 %).
Nell'ambiente più difficile con il varco intermedio, la policy MoE ha mantenuto il 70 % di successo in simulazione e il 67 % su hardware, mentre le baseline a esperto singolo (25 % / 8 %) e a rete grande (33 % / 25 %) sono calate nettamente.
L'addestramento ha richiesto circa 7 ore (un ambiente, 800 epoche) o circa 14 ore (due ambienti) su una RTX 4090; l'inferenza del VLM ha aggiunto circa il 5 % di tempo reale rispetto a GRaD-Nav.

Limiti

Generalizza solo a nuove combinazioni di sotto-task visti in addestramento; fallisce quando entrambi i sotto-task sono nuovi (per es. 'FLY OUT the LEFT door then LAND on the table'), quindi non è una soluzione a vocabolario aperto (autori).
La capacità del modello e l'insieme dei task sono ridotti: 12 task in due fasi (8 addestrati) e due ambienti 3DGS (gli autori li indicano come causa del limite precedente).
Su hardware, la fase 2 (avvicinarsi all'oggetto indicato) perde più successo della fase 1, cosa che gli autori attribuiscono al rilevamento, al controllo fine e all'accumulo di errori.
Ogni task di addestramento richiede una traiettoria di riferimento ricavata da waypoint chiave posti sulla nuvola di punti 3DGS e collegati con la pianificazione A*.
La valutazione reale è limitata, con 3 prove per task.

Impatto sul settore

Vincitore del RA-L Best Paper Award di RA-L 2026, con 26 citazioni finora. La versione con licenza su arXiv non rimanda a codice, dati né a una pagina del progetto.

Abstract

Droni autonomi in grado di interpretare ed eseguire istruzioni linguistiche di alto livello in ambienti non strutturati restano un obiettivo di lunga data. Tuttavia, gli approcci esistenti sono limitati dalla dipendenza da abilità progettate a mano, da un'estesa messa a punto dei parametri o da modelli computazionalmente onerosi non adatti all'uso a bordo. Presentiamo GRaD-Nav++, un framework Vision-Language-Action (VLA) leggero che gira interamente a bordo e segue comandi in linguaggio naturale in tempo reale. La nostra policy è addestrata in un simulatore fotorealistico di 3D Gaussian Splatting (3DGS) tramite apprendimento per rinforzo differenziabile (Differentiable Reinforcement Learning, DiffRL), il che consente di apprendere in modo efficiente il controllo di basso livello da input visivi e linguistici. Al suo centro c'è una testa d'azione Mixture-of-Experts (MoE), che instrada il calcolo in modo adattivo per migliorare la generalizzazione mitigando l'oblio. Negli esperimenti di generalizzazione multi-task, GRaD-Nav++ ottiene un tasso di successo dell'83 % sui task addestrati e del 75 % sui task mai visti in simulazione. Una volta distribuito su hardware reale, raggiunge il 67 % di successo sui task addestrati e il 50 % su quelli mai visti. Negli esperimenti di adattamento a più ambienti, GRaD-Nav++ ottiene un tasso di successo medio dell'81 % in diversi ambienti simulati e del 67 % in vari contesti reali. Questi risultati stabiliscono un nuovo riferimento per il volo Vision-Language-Action (VLA) interamente a bordo e dimostrano che modelli compatti ed efficienti possono consentire una navigazione affidabile guidata dal linguaggio senza dipendere da infrastrutture esterne.

Link

arXiv 2506.14009: https://arxiv.org/abs/2506.14009
DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
PDF: https://arxiv.org/pdf/2506.14009v1