GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Autoren: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein kompaktes VLA für Quadrokopter, trainiert per differenzierbarem RL in einem 3D Gaussian Splatting-Simulator mit Mixture-of-Experts-Kopf, läuft vollständig an Bord und folgt Sprachanweisungen.

Warum es wichtig ist

Es zeigt, dass eine kompakte sprachkonditionierte Flugpolicy vollständig auf einem kleinen Bordcomputer mit 25 Hz laufen kann, ohne externe Infrastruktur. Das Training dauert etwa 7 Stunden auf einer RTX 4090, und die in der Simulation trainierte Policy fliegt ohne zusätzliche Abstimmung auf realer Hardware.

Problem

Sprachgeführte Drohnen nutzen entweder ein LLM, um über API-Aufrufe aus vordefinierten Fähigkeiten zu wählen, was eine Lücke zur Low-Level-Regelung lässt, oder sie stützen sich auf VLA-Modelle mit Milliarden von Parametern, die nicht auf dem Bordcomputer einer Drohne laufen können und Verbindungen zur Bodenstation benötigen. Frühere Drohnen-VLAs waren auf Rennen beschränkt oder wurden nur in der Simulation evaluiert.

Lösungsansatz

GRaD-Nav++ kodiert die Anweisung und das RGB-Bild der Drohne mit einem eingefrorenen CLIP-Modell, das asynchron alle 10 Regelschritte ausgeführt wird, und kombiniert dies mit per Min-Pooling verdichteter Tiefe, einer beta-VAE-Kontextschätzung und dem Drohnenzustand. Eine Mixture-of-Experts-Policy mit zwei Experten bildet diese Eingaben auf Drehraten- und Schubbefehle ab. Sie wird mit differenzierbarem RL in einer fotorealistischen 3D Gaussian Splatting-Szene trainiert, die an ein differenzierbares Quadrokoptermodell gekoppelt ist, sodass Policy-Gradienten durch die Dynamik fließen.

Wichtigste Erkenntnisse

Differenzierbares RL durch 3DGS-Rendering und Quadrokopterdynamik lernte die Multi-Task-Sprachpolicy, während PPO mit demselben VLM innerhalb von 1x10^7 Schritten scheiterte.
Das VLM verankert Anweisungen in der visuellen Szene, statt nur Text zu kodieren: Ersetzt man es durch One-Hot-Aufgabencodes, ergab sich in der realen Welt 0/24 Erfolg bei trainierten Aufgaben.
Ein kleiner Mixture-of-Experts-Kopf (zwei Experten, Top-2-Routing) vermied katastrophales Vergessen, wenn das Training zwischen Umgebungen wechselte, was gleich große und größere MLPs nicht schafften.
CLIP asynchron auszuführen und kein separates CNN für RGB-D zu verwenden, hält die Inferenz an Bord schnell; die Tiefe wird für die Kollisionsvermeidung auf einen per Min-Pooling gewonnenen Vektor mit 32 Werten reduziert.
Ändert sich die Anweisung während des Flugs, sinkt die CLIP-Text-Bild-Ähnlichkeit und erholt sich dann, während die Drohne sich neu verankert, und die Policy erledigt die neue Aufgabe.

Hauptergebnisse

Multi-Task-Generalisierung in der Simulation: 83 % (20/24) Erfolg bei trainierten Aufgaben und 75 % (9/12) bei ungesehenen Aufgaben; PPO erzielte 0 %, die Ablation ohne VLM 4 % (1/24) und 0 %.
Auf realer Hardware: 67 % (16/24) Erfolg bei trainierten Aufgaben und 50 % (6/12) bei ungesehenen Aufgaben.
Anpassung an mehrere Umgebungen: 81 % durchschnittlicher Erfolg über simulierte Umgebungen; das Abstract nennt 67 % über reale Szenarien, während die Tabelle des Papers für die reale Welt 18 von 24 Versuchen (75 %) zählt.
In der schwierigeren Mid-Gate-Umgebung hielt die MoE-Policy 70 % Erfolg in der Simulation und 67 % auf Hardware, während die Baselines mit einem einzigen Experten (25 % / 8 %) und mit großem Netz (33 % / 25 %) stark abfielen.
Das Training dauerte auf einer RTX 4090 etwa 7 Stunden (eine Umgebung, 800 Epochen) bzw. etwa 14 Stunden (zwei Umgebungen); die VLM-Inferenz erhöhte die reale Laufzeit gegenüber GRaD-Nav um etwa 5 %.

Einschränkungen

Generalisiert nur auf neue Kombinationen von im Training gesehenen Teilaufgaben; es scheitert, wenn beide Teilaufgaben neu sind (z. B. 'FLY OUT the LEFT door then LAND on the table'), ist also keine Open-Vocabulary-Lösung (Autoren).
Modellkapazität und Aufgabenmenge sind klein: 12 zweistufige Aufgaben (8 trainiert) und zwei 3DGS-Umgebungen (die Autoren nennen dies als Ursache der obigen Einschränkung).
Auf Hardware verliert Stage 2 (Annäherung an das genannte Objekt) mehr Erfolg als Stage 1, was die Autoren auf Erkennung, Feinregelung und Fehlerakkumulation zurückführen.
Jede Trainingsaufgabe benötigt eine Referenztrajektorie aus wichtigen Wegpunkten, die auf der 3DGS-Punktwolke platziert und per A*-Planung verbunden werden.
Die Evaluierung in der realen Welt ist klein, mit 3 Versuchen pro Aufgabe.

Wirkung auf das Fachgebiet

Ausgezeichnet mit dem RA-L 2026 RA-L Best Paper Award, bisher 26 Zitierungen. Die lizenzierte arXiv-Fassung verlinkt weder Code noch Daten noch eine Projektseite.

Zusammenfassung

Autonome Drohnen, die hochrangige Sprachanweisungen in unstrukturierten Umgebungen interpretieren und ausführen können, sind nach wie vor ein langjähriges Ziel. Bestehende Ansätze sind jedoch durch ihre Abhängigkeit von handgefertigten Fähigkeiten, umfangreicher Parameterabstimmung oder rechenintensiven Modellen eingeschränkt, die für den Einsatz an Bord ungeeignet sind. Wir stellen GRaD-Nav++ vor, ein leichtgewichtiges Vision-Language-Action-Framework (VLA), das vollständig an Bord läuft und natürlichsprachlichen Befehlen in Echtzeit folgt. Unsere Policy wird in einem fotorealistischen 3D Gaussian Splatting-Simulator (3DGS) mittels Differentiable Reinforcement Learning (DiffRL) trainiert, was ein effizientes Lernen der Low-Level-Regelung aus visuellen und sprachlichen Eingaben ermöglicht. Ihr Kern ist ein Mixture-of-Experts-Aktionskopf (MoE), der Berechnungen adaptiv routet, um die Generalisierung zu verbessern und zugleich das Vergessen abzuschwächen. In Experimenten zur Multi-Task-Generalisierung erreicht GRaD-Nav++ in der Simulation eine Erfolgsrate von 83 % bei trainierten Aufgaben und 75 % bei ungesehenen Aufgaben. Auf realer Hardware erzielt es 67 % Erfolg bei trainierten Aufgaben und 50 % bei ungesehenen. In Experimenten zur Anpassung an mehrere Umgebungen erreicht GRaD-Nav++ eine durchschnittliche Erfolgsrate von 81 % über verschiedene simulierte Umgebungen und 67 % über unterschiedliche reale Szenarien. Diese Ergebnisse setzen einen neuen Maßstab für vollständig an Bord ausgeführten Vision-Language-Action-Flug (VLA) und zeigen, dass kompakte, effiziente Modelle eine zuverlässige, sprachgeführte Navigation ohne externe Infrastruktur ermöglichen können.

Open Source Robotics