GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

作者: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一种面向四旋翼的紧凑型 VLA，在 3D Gaussian Splatting 仿真器中通过可微 RL训练，带有混合专家动作头，可完全在机载运行并遵循语言指令。

为何重要

它表明，紧凑的语言条件飞行策略可以完全在小型机载计算机上以 25 Hz 运行，无需外部基础设施。训练在单张 RTX 4090 上约需 7 小时，且在仿真中训练的策略无需额外调参即可在真实硬件上飞行。

问题

语言引导的无人机要么使用 LLM 通过 API 调用从预定义技能中进行选择，与底层控制之间存在断层；要么依赖拥有数十亿参数的 VLA 模型，这类模型无法在无人机的机载计算机上运行，需要地面站链路。早期的无人机 VLA 仅限于竞速，或仅在仿真中进行评估。

提出的方法

GRaD-Nav++ 使用冻结的 CLIP 模型对指令和无人机的 RGB 视图进行编码，该模型每 10 个控制步异步运行一次，并将结果与最小池化的深度、beta-VAE 上下文估计以及无人机状态相结合。一个双专家混合专家策略将这些输入映射为机体角速率和推力指令。它在与可微四旋翼模型耦合的逼真 3D Gaussian Splatting 场景中通过可微 RL训练，使策略梯度能够流经动力学模型。

关键见解

• 通过 3DGS 渲染和四旋翼动力学进行的可微 RL学会了多任务语言策略，而使用相同 VLM 的 PPO 在 1x10^7 步内未能学会。
• VLM 将指令落地到视觉场景中，而不只是对文本进行编码：将其替换为 one-hot 任务编码后，真实世界中已训练任务的成功率为 0/24。
• 小型混合专家动作头（两个专家，top-2 路由）在训练于不同环境之间交替进行时避免了灾难性遗忘，而相同规模和更大规模的 MLP 则没有做到。
• 异步运行 CLIP，并且不为 RGB-D 单独使用 CNN，可保持机载推理的速度；深度信息被压缩为一个 32 维的最小池化向量，用于避障。
• 当指令在飞行途中改变时，CLIP 的文本-图像相似度先下降，随后在无人机重新落地指令时恢复，策略随即完成新任务。

主要结果

• 仿真中的多任务泛化：已训练任务成功率 83%（20/24），未见任务 75%（9/12）；PPO 得分为 0%，无 VLM 消融版本为 4%（1/24）和 0%。
• 在真实硬件上：已训练任务成功率 67%（16/24），未见任务 50%（6/12）。
• 多环境适应：在仿真环境中平均成功率为 81%；摘要给出的真实世界场景成功率为 67%，而论文的真实世界表格统计为 24 次试验中成功 18 次（75%）。
• 在更难的中间门环境中，MoE 策略在仿真中保持 70% 的成功率，在硬件上保持 67%，而单专家（25% / 8%）和大网络（33% / 25%）基线则大幅下降。
• 在单张 RTX 4090 上，训练耗时约 7 小时（一个环境，800 个 epoch）或约 14 小时（两个环境）；VLM 推理相比 GRaD-Nav 增加了约 5% 的实际运行时间。

局限

• 只能泛化到训练中见过的子任务的新组合；当两个子任务都是新的时会失败（例如 “FLY OUT the LEFT door then LAND on the table”），因此它不是开放词汇的方案（作者）。
• 模型容量和任务集都较小：12 个两阶段任务（8 个用于训练）和两个 3DGS 环境（作者将其列为上述限制的原因）。
• 在硬件上，第 2 阶段（接近指定物体）比第 1 阶段损失更多成功率，作者将其归因于检测、精细控制和误差累积。
• 每个训练任务都需要一条参考轨迹，由放置在 3DGS 点云上的关键航点经 A* 规划连接而成。
• 真实世界评估规模较小，每个任务仅 3 次试验。

对领域的影响

荣获 RA-L 2026 RA-L 最佳论文奖，目前已被引用 26 次。获得许可的 arXiv 版本未提供代码、数据或项目页面的链接。

摘要

能够在非结构化环境中理解并执行高层语言指令的自主无人机，一直是一个长期目标。然而，现有方法受制于对手工设计技能、大量参数调节或计算密集、不适合机载使用的模型的依赖。我们提出 GRaD-Nav++，这是一个轻量级的视觉-语言-动作（VLA）框架，可完全在机载运行并实时遵循自然语言命令。我们的策略通过可微强化学习（DiffRL）在逼真的 3D Gaussian Splatting（3DGS）仿真器中训练，能够从视觉和语言输入中高效学习底层控制。其核心是一个混合专家（MoE）动作头，它自适应地路由计算，以提升泛化能力并缓解遗忘。在多任务泛化实验中，GRaD-Nav++ 在仿真中对已训练任务的成功率为 83%，对未见任务为 75%。部署到真实硬件上时，其对已训练任务的成功率为 67%，对未见任务为 50%。在多环境适应实验中，GRaD-Nav++ 在多种仿真环境中的平均成功率为 81%，在多种真实世界场景中为 67%。这些结果为完全机载的视觉-语言-动作（VLA）飞行确立了新的基准，并表明紧凑、高效的模型无需依赖外部基础设施即可实现可靠的语言引导导航。

链接

• arXiv 2506.14009: https://arxiv.org/abs/2506.14009
• DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
• PDF: https://arxiv.org/pdf/2506.14009v1