GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Auteurs: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un VLA compact pour quadrirotors, entraîné par RL différentiable dans un simulateur en 3D Gaussian Splatting avec une tête à mélange d'experts (mixture-of-experts), s'exécute entièrement à bord et suit des instructions en langage naturel.

Pourquoi c'est important

Il montre qu'une politique de vol conditionnée par le langage et compacte peut s'exécuter entièrement sur un petit ordinateur embarqué à 25 Hz, sans infrastructure externe. L'entraînement prend environ 7 heures sur une seule RTX 4090, et la politique entraînée en simulation vole sur du matériel réel sans réglage supplémentaire.

Problème

Les drones guidés par le langage utilisent soit un LLM qui choisit parmi des compétences prédéfinies via des appels d'API, laissant un fossé avec la commande de bas niveau, soit des modèles VLA à plusieurs milliards de paramètres qui ne peuvent pas tourner sur l'ordinateur embarqué d'un drone et nécessitent des liaisons avec une station au sol. Les VLA pour drones antérieurs se limitaient à la course ou n'étaient évalués qu'en simulation.

Solution proposée

GRaD-Nav++ encode l'instruction et l'image RGB du drone avec un modèle CLIP gelé, exécuté de manière asynchrone tous les 10 pas de commande, et combine ce résultat avec la profondeur réduite par min-pooling, une estimation de contexte par beta-VAE et l'état du drone. Une politique à mélange de deux experts transforme ces entrées en commandes de vitesses angulaires et de poussée. Elle est entraînée par RL différentiable dans une scène photoréaliste en 3D Gaussian Splatting couplée à un modèle de quadrirotor différentiable, de sorte que les gradients de politique traversent la dynamique.

Idées clés

• Le RL différentiable à travers le rendu 3DGS et la dynamique du quadrirotor a appris la politique langagière multitâche, tandis que PPO avec le même VLM a échoué en 1x10^7 pas.
• Le VLM ancre les instructions dans la scène visuelle au lieu de simplement encoder du texte : en le remplaçant par des codes de tâche one-hot, on a obtenu 0/24 réussites en conditions réelles sur les tâches entraînées.
• Une petite tête à mélange d'experts (deux experts, routage top-2) a évité l'oubli catastrophique lorsque l'entraînement alternait entre environnements, contrairement à des MLP de même taille ou plus grands.
• Exécuter CLIP de manière asynchrone et n'utiliser aucun CNN séparé pour le RGB-D garde l'inférence embarquée rapide ; la profondeur est réduite à un vecteur de 32 valeurs obtenu par min-pooling pour l'évitement de collisions.
• Lorsque l'instruction change en plein vol, la similarité texte-image de CLIP chute puis remonte à mesure que le drone se réancre, et la politique accomplit la nouvelle tâche.

Principaux résultats

• Généralisation multitâche en simulation : 83 % (20/24) de réussite sur les tâches entraînées et 75 % (9/12) sur les tâches inédites ; PPO a obtenu 0 % et l'ablation sans VLM 4 % (1/24) et 0 %.
• Sur matériel réel : 67 % (16/24) de réussite sur les tâches entraînées et 50 % (6/12) sur les tâches inédites.
• Adaptation multi-environnements : 81 % de réussite moyenne sur les environnements simulés ; le résumé indique 67 % sur les contextes réels, alors que le tableau réel de l'article compte 18 essais sur 24 (75 %).
• Dans l'environnement mid-gate, plus difficile, la politique MoE a conservé 70 % de réussite en simulation et 67 % sur matériel, tandis que les références à expert unique (25 % / 8 %) et à grand réseau (33 % / 25 %) ont fortement chuté.
• L'entraînement a pris environ 7 heures (un environnement, 800 époques) ou environ 14 heures (deux environnements) sur une seule RTX 4090 ; l'inférence du VLM a ajouté environ 5 % de temps réel par rapport à GRaD-Nav.

Limites

• Ne généralise qu'à de nouvelles combinaisons de sous-tâches vues à l'entraînement ; échoue lorsque les deux sous-tâches sont nouvelles (par ex. 'FLY OUT the LEFT door then LAND on the table'), ce n'est donc pas une solution à vocabulaire ouvert (auteurs).
• La capacité du modèle et l'ensemble de tâches sont réduits : 12 tâches en deux étapes (8 entraînées) et deux environnements 3DGS (les auteurs y voient la cause de la limite ci-dessus).
• Sur matériel, la Stage 2 (approche de l'objet nommé) perd davantage de réussite que la Stage 1, ce que les auteurs attribuent à la détection, à la commande fine et à l'accumulation d'erreurs.
• Chaque tâche d'entraînement nécessite une trajectoire de référence construite à partir de points de passage clés placés sur le nuage de points 3DGS et reliés par planification A*.
• L'évaluation en conditions réelles est restreinte, avec 3 essais par tâche.

Impact sur le domaine

Lauréat du RA-L 2026 RA-L Best Paper Award, avec 26 citations à ce jour. La version arXiv sous licence ne renvoie vers aucun code, aucune donnée ni page de projet.

Résumé

Des drones autonomes capables d'interpréter et d'exécuter des instructions langagières de haut niveau dans des environnements non structurés restent un objectif de longue date. Pourtant, les approches existantes sont limitées par leur dépendance à des compétences conçues à la main, à un réglage intensif des paramètres ou à des modèles gourmands en calcul inadaptés à une utilisation embarquée. Nous présentons GRaD-Nav++, un cadre Vision-Language-Action (VLA) léger qui s'exécute entièrement à bord et suit des commandes en langage naturel en temps réel. Notre politique est entraînée dans un simulateur photoréaliste en 3D Gaussian Splatting (3DGS) via le Differentiable Reinforcement Learning (DiffRL), ce qui permet un apprentissage efficace de la commande de bas niveau à partir d'entrées visuelles et linguistiques. Au cœur du système se trouve une tête d'action Mixture-of-Experts (MoE), qui oriente de manière adaptative le calcul afin d'améliorer la généralisation tout en atténuant l'oubli. Dans des expériences de généralisation multitâche, GRaD-Nav++ atteint un taux de réussite de 83 % sur les tâches entraînées et de 75 % sur les tâches inédites en simulation. Déployé sur du matériel réel, il obtient 67 % de réussite sur les tâches entraînées et 50 % sur les tâches inédites. Dans des expériences d'adaptation multi-environnements, GRaD-Nav++ atteint un taux de réussite moyen de 81 % sur divers environnements simulés et de 67 % sur des contextes réels variés. Ces résultats établissent une nouvelle référence pour le vol Vision-Language-Action (VLA) entièrement embarqué et démontrent que des modèles compacts et efficaces peuvent permettre une navigation fiable guidée par le langage sans dépendre d'une infrastructure externe.

Liens

• arXiv 2506.14009: https://arxiv.org/abs/2506.14009
• DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
• PDF: https://arxiv.org/pdf/2506.14009v1