GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Autores: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um VLA compacto para quadricópteros, treinado por RL diferenciável em um simulador de 3D Gaussian Splatting com uma cabeça mixture-of-experts, roda inteiramente a bordo e segue instruções em linguagem natural.

Por que importa

Mostra que uma política de voo compacta condicionada por linguagem pode rodar inteiramente em um pequeno computador de bordo a 25 Hz, sem infraestrutura externa. O treinamento leva cerca de 7 horas em uma RTX 4090, e a política treinada em simulação voa em hardware real sem ajuste adicional.

Problema

Drones guiados por linguagem ou usam um LLM para escolher entre habilidades predefinidas por meio de chamadas de API, deixando uma lacuna até o controle de baixo nível, ou dependem de modelos VLA com bilhões de parâmetros que não conseguem rodar no computador de bordo de um drone e precisam de links com uma estação em solo. Os VLAs para drones anteriores se limitavam a corridas ou eram avaliados apenas em simulação.

Solução proposta

O GRaD-Nav++ codifica a instrução e a visão RGB do drone com um modelo CLIP congelado, executado de forma assíncrona a cada 10 passos de controle, e combina isso com a profundidade com min-pooling, uma estimativa de contexto de um beta-VAE e o estado do drone. Uma política mixture-of-experts com dois especialistas mapeia essas entradas para comandos de velocidade angular do corpo e de empuxo. Ela é treinada com RL diferenciável em uma cena fotorrealista de 3D Gaussian Splatting acoplada a um modelo diferenciável de quadricóptero, de modo que os gradientes da política fluem através da dinâmica.

Principais ideias

O RL diferenciável através da renderização 3DGS e da dinâmica do quadricóptero aprendeu a política de linguagem multitarefa, enquanto o PPO com o mesmo VLM falhou em 1x10^7 passos.
O VLM ancora as instruções na cena visual em vez de apenas codificar texto: substituí-lo por códigos de tarefa one-hot resultou em 0/24 de sucesso no mundo real em tarefas treinadas.
Uma pequena cabeça mixture-of-experts (dois especialistas, roteamento top-2) evitou o esquecimento catastrófico quando o treinamento alternava entre ambientes, o que MLPs do mesmo tamanho e maiores não conseguiram.
Rodar o CLIP de forma assíncrona e não usar uma CNN separada para RGB-D mantém rápida a inferência a bordo; a profundidade é reduzida a um vetor de 32 valores com min-pooling para evitar colisões.
Quando a instrução muda no meio do voo, a similaridade texto-imagem do CLIP cai e depois se recupera à medida que o drone reancora a instrução, e a política conclui a nova tarefa.

Principais resultados

Generalização multitarefa em simulação: 83 % (20/24) de sucesso em tarefas treinadas e 75 % (9/12) em tarefas não vistas; o PPO obteve 0 % e a ablação sem VLM 4 % (1/24) e 0 %.
Em hardware real: 67 % (16/24) de sucesso em tarefas treinadas e 50 % (6/12) em tarefas não vistas.
Adaptação a múltiplos ambientes: 81 % de sucesso médio nos ambientes simulados; o resumo informa 67 % em cenários do mundo real, enquanto a tabela do mundo real do artigo conta 18 de 24 tentativas (75 %).
No ambiente mais difícil com o portal intermediário, a política MoE manteve 70 % de sucesso em simulação e 67 % em hardware, enquanto as linhas de base de especialista único (25 % / 8 %) e de rede grande (33 % / 25 %) caíram acentuadamente.
O treinamento levou cerca de 7 horas (um ambiente, 800 épocas) ou cerca de 14 horas (dois ambientes) em uma RTX 4090; a inferência do VLM acrescentou cerca de 5 % de tempo de relógio em relação ao GRaD-Nav.

Limitações

Generaliza apenas para novas combinações de subtarefas vistas no treinamento; falha quando ambas as subtarefas são novas (por exemplo, 'FLY OUT the LEFT door then LAND on the table'), portanto não é uma solução de vocabulário aberto (autores).
A capacidade do modelo e o conjunto de tarefas são pequenos: 12 tarefas de duas etapas (8 treinadas) e dois ambientes 3DGS (os autores apontam isso como causa do limite acima).
Em hardware, a etapa 2 (aproximar-se do objeto nomeado) perde mais sucesso que a etapa 1, o que os autores atribuem à detecção, ao controle fino e ao acúmulo de erros.
Cada tarefa de treinamento precisa de uma trajetória de referência a partir de waypoints-chave posicionados na nuvem de pontos 3DGS e conectados por planejamento A*.
A avaliação no mundo real é pequena, com 3 tentativas por tarefa.

Impacto na área

Vencedor do RA-L Best Paper Award da RA-L 2026, com 26 citações até agora. A versão licenciada do arXiv não traz links para código, dados nem página do projeto.

Resumo

Drones autônomos capazes de interpretar e executar instruções de linguagem de alto nível em ambientes não estruturados continuam sendo um objetivo antigo. No entanto, as abordagens existentes são limitadas pela dependência de habilidades feitas à mão, de ajuste extenso de parâmetros ou de modelos computacionalmente intensivos inadequados para uso a bordo. Apresentamos o GRaD-Nav++, um framework Vision-Language-Action (VLA) leve que roda inteiramente a bordo e segue comandos em linguagem natural em tempo real. Nossa política é treinada em um simulador fotorrealista de 3D Gaussian Splatting (3DGS) por meio de aprendizado por reforço diferenciável (Differentiable Reinforcement Learning, DiffRL), permitindo o aprendizado eficiente de controle de baixo nível a partir de entradas visuais e linguísticas. Em seu núcleo está uma cabeça de ação Mixture-of-Experts (MoE), que roteia a computação de forma adaptativa para melhorar a generalização e mitigar o esquecimento. Em experimentos de generalização multitarefa, o GRaD-Nav++ alcança uma taxa de sucesso de 83 % em tarefas treinadas e de 75 % em tarefas não vistas em simulação. Quando implantado em hardware real, atinge 67 % de sucesso em tarefas treinadas e 50 % nas não vistas. Em experimentos de adaptação a múltiplos ambientes, o GRaD-Nav++ alcança uma taxa média de sucesso de 81 % em diversos ambientes simulados e de 67 % em variados cenários do mundo real. Esses resultados estabelecem uma nova referência para o voo Vision-Language-Action (VLA) totalmente a bordo e demonstram que modelos compactos e eficientes podem viabilizar navegação confiável guiada por linguagem sem depender de infraestrutura externa.

Open Source Robotics