GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Autores: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un VLA compacto para cuadricópteros, entrenado mediante RL diferenciable en un simulador de 3D Gaussian Splatting con una cabeza mixture-of-experts, se ejecuta íntegramente a bordo y sigue instrucciones en lenguaje natural.

Por qué importa

Demuestra que una política de vuelo compacta condicionada por lenguaje puede ejecutarse por completo en un pequeño ordenador de a bordo a 25 Hz, sin infraestructura externa. El entrenamiento lleva unas 7 horas en una RTX 4090, y la política entrenada en simulación vuela en hardware real sin ajustes adicionales.

Problema

Los drones guiados por lenguaje o bien usan un LLM para elegir entre habilidades predefinidas mediante llamadas a una API, lo que deja un hueco hasta el control de bajo nivel, o bien dependen de modelos VLA con miles de millones de parámetros que no pueden ejecutarse en el ordenador de a bordo de un dron y necesitan enlaces con una estación de tierra. Los VLA para drones anteriores se limitaban a las carreras o solo se evaluaban en simulación.

Solución propuesta

GRaD-Nav++ codifica la instrucción y la vista RGB del dron con un modelo CLIP congelado, ejecutado de forma asíncrona cada 10 pasos de control, y lo combina con la profundidad con min-pooling, una estimación de contexto de un beta-VAE y el estado del dron. Una política mixture-of-experts de dos expertos asigna estas entradas a órdenes de velocidad angular del cuerpo y de empuje. Se entrena con RL diferenciable en una escena fotorrealista de 3D Gaussian Splatting acoplada a un modelo diferenciable de cuadricóptero, de modo que los gradientes de la política fluyen a través de la dinámica.

Ideas clave

• El RL diferenciable a través del renderizado 3DGS y la dinámica del cuadricóptero aprendió la política de lenguaje multitarea, mientras que PPO con el mismo VLM fracasó en 1x10^7 pasos.
• El VLM ancla las instrucciones en la escena visual en lugar de limitarse a codificar texto: sustituirlo por códigos de tarea one-hot dio un éxito de 0/24 en el mundo real en tareas entrenadas.
• Una pequeña cabeza mixture-of-experts (dos expertos, enrutamiento top-2) evitó el olvido catastrófico cuando el entrenamiento alternaba entre entornos, cosa que no lograron MLP del mismo tamaño ni más grandes.
• Ejecutar CLIP de forma asíncrona y no usar una CNN separada para RGB-D mantiene rápida la inferencia a bordo; la profundidad se reduce a un vector de 32 valores con min-pooling para evitar colisiones.
• Cuando la instrucción cambia en pleno vuelo, la similitud texto-imagen de CLIP cae y luego se recupera a medida que el dron vuelve a anclarla, y la política completa la nueva tarea.

Resultados principales

• Generalización multitarea en simulación: 83 % (20/24) de éxito en tareas entrenadas y 75 % (9/12) en tareas no vistas; PPO obtuvo un 0 % y la ablación sin VLM un 4 % (1/24) y un 0 %.
• En hardware real: 67 % (16/24) de éxito en tareas entrenadas y 50 % (6/12) en tareas no vistas.
• Adaptación a múltiples entornos: 81 % de éxito medio en los entornos simulados; el resumen da un 67 % en escenarios del mundo real, mientras que la tabla del mundo real del artículo cuenta 18 de 24 ensayos (75 %).
• En el entorno más difícil con la puerta intermedia, la política MoE mantuvo un 70 % de éxito en simulación y un 67 % en hardware, mientras que las líneas base de un solo experto (25 % / 8 %) y de red grande (33 % / 25 %) cayeron bruscamente.
• El entrenamiento llevó unas 7 horas (un entorno, 800 épocas) o unas 14 horas (dos entornos) en una RTX 4090; la inferencia del VLM añadió alrededor de un 5 % de tiempo real respecto a GRaD-Nav.

Limitaciones

• Solo generaliza a nuevas combinaciones de subtareas vistas en el entrenamiento; falla cuando ambas subtareas son nuevas (p. ej., 'FLY OUT the LEFT door then LAND on the table'), por lo que no es una solución de vocabulario abierto (autores).
• La capacidad del modelo y el conjunto de tareas son pequeños: 12 tareas de dos etapas (8 entrenadas) y dos entornos 3DGS (los autores los señalan como causa del límite anterior).
• En hardware, la etapa 2 (acercarse al objeto nombrado) pierde más éxito que la etapa 1, lo que los autores atribuyen a la detección, el control fino y la acumulación de errores.
• Cada tarea de entrenamiento necesita una trayectoria de referencia a partir de puntos de paso clave colocados en la nube de puntos 3DGS y conectados mediante planificación A*.
• La evaluación en el mundo real es pequeña, con 3 ensayos por tarea.

Impacto en el campo

Ganador del RA-L Best Paper Award de RA-L 2026, con 26 citas hasta ahora. La versión con licencia de arXiv no enlaza código, datos ni una página del proyecto.

Resumen

Los drones autónomos capaces de interpretar y ejecutar instrucciones de lenguaje de alto nivel en entornos no estructurados siguen siendo un objetivo de larga data. Sin embargo, los enfoques existentes están limitados por su dependencia de habilidades diseñadas a mano, de un ajuste extenso de parámetros o de modelos computacionalmente intensivos no aptos para su uso a bordo. Presentamos GRaD-Nav++, un marco Vision-Language-Action (VLA) ligero que se ejecuta íntegramente a bordo y sigue órdenes en lenguaje natural en tiempo real. Nuestra política se entrena en un simulador fotorrealista de 3D Gaussian Splatting (3DGS) mediante aprendizaje por refuerzo diferenciable (Differentiable Reinforcement Learning, DiffRL), lo que permite aprender de forma eficiente el control de bajo nivel a partir de entradas visuales y lingüísticas. En su núcleo hay una cabeza de acción Mixture-of-Experts (MoE), que enruta el cómputo de forma adaptativa para mejorar la generalización y mitigar el olvido. En experimentos de generalización multitarea, GRaD-Nav++ logra una tasa de éxito del 83 % en tareas entrenadas y del 75 % en tareas no vistas en simulación. Desplegado en hardware real, alcanza un 67 % de éxito en tareas entrenadas y un 50 % en las no vistas. En experimentos de adaptación a múltiples entornos, GRaD-Nav++ logra una tasa de éxito media del 81 % en diversos entornos simulados y del 67 % en distintos escenarios del mundo real. Estos resultados establecen un nuevo referente para el vuelo Vision-Language-Action (VLA) totalmente a bordo y demuestran que modelos compactos y eficientes pueden permitir una navegación fiable guiada por lenguaje sin depender de infraestructura externa.

Enlaces

• arXiv 2506.14009: https://arxiv.org/abs/2506.14009
• DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
• PDF: https://arxiv.org/pdf/2506.14009v1