GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

作者: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個用於四旋翼的精簡 VLA，在 3D Gaussian Splatting 模擬器中以可微分 RL訓練，並採用混合專家動作頭，可完全在機上執行並遵循語言指令。

為何重要

它證明了精簡的語言條件飛行策略可以完全在小型機載電腦上以 25 Hz 執行，不需要任何外部基礎設施。在一張 RTX 4090 上訓練約需 7 小時，而在模擬中訓練的策略不需額外調校就能在實體硬體上飛行。

問題

語言引導的無人機若不是用 LLM 透過 API 呼叫從預先定義的技能中挑選，因而與低階控制之間存在落差，就是仰賴具有數十億參數的 VLA 模型，這類模型無法在無人機的機載電腦上執行，必須連線到地面站。先前的無人機 VLA 僅限於競速，或只在模擬中評估。

提出的方法

GRaD-Nav++ 以凍結的 CLIP 模型編碼指令與無人機的 RGB 畫面，該模型每 10 個控制步以非同步方式執行一次，並將結果與最小池化後的深度、beta-VAE 情境估計以及無人機狀態結合。一個雙專家的混合專家策略將這些輸入對應為機體角速率與推力指令。它在與可微分四旋翼模型耦合的擬真 3D Gaussian Splatting 場景中以可微分 RL訓練，讓策略梯度能通過動力學模型傳遞。

關鍵見解

• 透過 3DGS 渲染與四旋翼動力學進行的可微分 RL學會了多任務語言策略，而使用相同視覺語言模型（VLM）的 PPO 在 1x10^7 步內都未能學會。
• VLM 會把指令對應到視覺場景，而不只是編碼文字：將它換成 one-hot 任務編碼後，真實世界中已訓練任務的成功率為 0/24。
• 小型混合專家動作頭（兩個專家，top-2 路由）在訓練於不同環境間交替時避免了災難性遺忘，相同大小與更大的 MLP 則做不到。
• 以非同步方式執行 CLIP，且不為 RGB-D 另設 CNN，讓機上推論維持快速；深度資訊被縮減為 32 個值的最小池化向量，用於避障。
• 當指令在飛行途中改變時，CLIP 的文字-影像相似度會先下降，接著在無人機重新對應指令時回升，策略隨後完成新的任務。

主要結果

• 模擬中的多任務泛化：已訓練任務成功率 83%（20/24），未見任務 75%（9/12）；PPO 為 0%，移除 VLM 的消融版本為 4%（1/24）與 0%。
• 在實體硬體上：已訓練任務成功率 67%（16/24），未見任務 50%（6/12）。
• 多環境適應：在模擬環境中的平均成功率為 81%；摘要列出真實世界場景為 67%，而論文的真實世界表格則記錄 24 次試驗中成功 18 次（75%）。
• 在較困難的中段門環境中，MoE 策略在模擬中維持 70% 的成功率、在硬體上維持 67%，而單一專家（25% / 8%）與大型網路（33% / 25%）基準則大幅下滑。
• 在一張 RTX 4090 上，訓練約需 7 小時（一個環境，800 個 epoch）或約 14 小時（兩個環境）；VLM 推論相較 GRaD-Nav 增加約 5% 的實際執行時間。

限制

• 只能泛化到訓練中出現過的子任務的新組合；當兩個子任務都是新的時就會失敗（例如「FLY OUT the LEFT door then LAND on the table」），因此並非開放詞彙的解決方案（作者）。
• 模型容量與任務集都很小：12 個兩階段任務（8 個用於訓練）與兩個 3DGS 環境（作者將此列為上述限制的原因）。
• 在硬體上，第 2 階段（接近指定物體）比第 1 階段損失更多成功率，作者將其歸因於偵測、精細控制與誤差累積。
• 每個訓練任務都需要一條參考軌跡，由放置在 3DGS 點雲上的關鍵航點以 A* 規劃連接而成。
• 真實世界的評估規模很小，每個任務僅 3 次試驗。

對領域的影響

榮獲 RA-L 2026 RA-L 最佳論文獎，目前已被引用 26 次。取得授權的 arXiv 版本未提供程式碼、資料或專案頁面的連結。

摘要

能在非結構化環境中理解並執行高階語言指令的自主無人機，一直是長久以來的目標。然而，現有方法受限於對人工設計技能、大量參數調校，或計算量龐大、不適合機載使用的模型的依賴。我們提出 GRaD-Nav++，這是一個輕量的視覺-語言-動作（VLA）框架，能完全在機上執行，並即時遵循自然語言命令。我們的策略透過可微分強化學習（DiffRL）在擬真的 3D Gaussian Splatting（3DGS）模擬器中訓練，能從視覺與語言輸入中有效率地學習低階控制。其核心是一個混合專家（MoE）動作頭，可自適應地分配運算，以提升泛化能力並減輕遺忘。在多任務泛化實驗中，GRaD-Nav++ 在模擬中對已訓練任務達到 83% 的成功率，對未見任務達到 75%。部署到實體硬體時，對已訓練任務的成功率為 67%，對未見任務為 50%。在多環境適應實驗中，GRaD-Nav++ 在多種模擬環境中的平均成功率為 81%，在多種真實世界場景中為 67%。這些結果為完全機載的視覺-語言-動作（VLA）飛行建立了新的基準，並證明精簡、高效率的模型無需仰賴外部基礎設施，就能實現可靠的語言引導導航。

連結

• arXiv 2506.14009: https://arxiv.org/abs/2506.14009
• DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
• PDF: https://arxiv.org/pdf/2506.14009v1