GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

著者: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

クアッドロータ向けのコンパクトな VLA。3D Gaussian Splatting シミュレータ内で微分可能 RLにより学習され、Mixture-of-Experts ヘッドを備え、完全にオンボードで動作して言語指示に従う。

重要な理由

言語で条件付けられたコンパクトな飛行ポリシーが、外部インフラなしに、小型のオンボードコンピュータ上だけで 25 Hz で動作しうることを示している。学習は RTX 4090 1 枚で約 7 時間かかり、シミュレーションで学習したポリシーは追加の調整なしに実機で飛行する。

課題

言語誘導ドローンは、LLM を用いて API 呼び出しで事前定義されたスキルから選択するため低レベル制御との間に隔たりが残るか、あるいは数十億パラメータの VLA モデルに依存するためドローンのオンボードコンピュータでは動作せず地上局との通信リンクを必要とするかのどちらかである。これまでのドローン向け VLA はレースに限られるか、シミュレーションでのみ評価されていた。

提案手法

GRaD-Nav++ は、10 制御ステップごとに非同期で実行される凍結した CLIP モデルで指示とドローンの RGB 画像を符号化し、これを最小プーリングした深度、beta-VAE によるコンテキスト推定、ドローンの状態と組み合わせる。2 エキスパートの Mixture-of-Experts ポリシーが、これらの入力を機体角速度と推力のコマンドに写像する。ポリシーは、微分可能なクアッドロータモデルと結合したフォトリアルな 3D Gaussian Splatting シーン内で微分可能 RLにより学習され、方策勾配がダイナミクスを通じて伝播する。

主な知見

3DGS レンダリングとクアッドロータのダイナミクスを通した微分可能 RLはマルチタスクの言語ポリシーを学習できたが、同じ VLM を用いた PPO は 1x10^7 ステップ以内に学習できなかった。
VLM はテキストを符号化するだけでなく、指示を視覚シーンに結びつけている。これを one-hot のタスクコードに置き換えると、学習済みタスクの実世界での成功は 0/24 となった。
小さな Mixture-of-Experts ヘッド（エキスパート 2 つ、top-2 ルーティング）は、学習が環境間で交互に行われる際に破滅的忘却を回避したが、同じサイズやより大きな MLP では回避できなかった。
CLIP を非同期に実行し、RGB-D 用に別の CNN を使わないことで、オンボード推論を高速に保つ。深度は衝突回避のために 32 値の最小プーリングベクトルに縮約される。
飛行中に指示が変わると、CLIP のテキスト・画像類似度はいったん下がり、ドローンが指示を視覚に結びつけ直すにつれて回復し、ポリシーは新しいタスクを完了する。

主な結果

シミュレーションでのマルチタスク汎化：学習済みタスクで 83%（20/24）、未見タスクで 75%（9/12）の成功率。PPO は 0%、VLM なしのアブレーションは 4%（1/24）と 0% であった。
実機では、学習済みタスクで 67%（16/24）、未見タスクで 50%（6/12）の成功率。
マルチ環境適応：シミュレーション環境全体で平均成功率 81%。アブストラクトは実世界の環境全体で 67% としているが、論文の実世界の表では 24 試行中 18 回（75%）とカウントされている。
より難しい中間ゲート環境では、MoE ポリシーはシミュレーションで 70%、実機で 67% の成功率を維持したが、単一エキスパート（25% / 8%）と大規模ネットワーク（33% / 25%）のベースラインは大きく低下した。
学習には RTX 4090 1 枚で約 7 時間（1 環境、800 エポック）または約 14 時間（2 環境）を要した。VLM の推論は GRaD-Nav に比べて実時間を約 5% 増やした。

制限事項

学習時に見たサブタスクの新しい組み合わせにしか汎化せず、両方のサブタスクが新しい場合（例：「FLY OUT the LEFT door then LAND on the table」）には失敗するため、オープンボキャブラリーの解決策ではない（著者）。
モデル容量とタスクセットは小さく、12 の 2 段階タスク（うち 8 つが学習用）と 2 つの 3DGS 環境のみである（著者はこれを上記の限界の原因として挙げている）。
実機では、ステージ 2（指定された物体への接近）がステージ 1 よりも多く成功を失っており、著者はこれを検出、精密な制御、誤差の蓄積に起因するとしている。
各学習タスクには、3DGS 点群上に配置した主要ウェイポイントを A* 計画でつないだ参照軌道が必要である。
実世界での評価は小規模で、タスクごとに 3 試行である。

分野への影響

RA-L 2026 RA-L 最優秀論文賞を受賞し、これまでの被引用数は 26。ライセンスされた arXiv 版には、コード、データ、プロジェクトページへのリンクはない。

概要

非構造化環境で高レベルの言語指示を解釈・実行できる自律ドローンは、長年の目標であり続けている。しかし既存のアプローチは、手作りのスキル、大規模なパラメータ調整、あるいはオンボードでの使用に適さない計算負荷の高いモデルへの依存によって制約されている。我々は、完全にオンボードで動作し、自然言語のコマンドにリアルタイムで従う軽量な Vision-Language-Action（VLA）フレームワーク GRaD-Nav++ を提案する。我々のポリシーは、フォトリアルな 3D Gaussian Splatting（3DGS）シミュレータ内で微分可能強化学習（DiffRL）によって学習され、視覚と言語の入力から低レベル制御を効率的に学習できる。その中核は Mixture-of-Experts（MoE）アクションヘッドであり、計算を適応的にルーティングすることで、汎化を改善しつつ忘却を軽減する。マルチタスク汎化実験において、GRaD-Nav++ はシミュレーションで学習済みタスクに対して 83%、未見タスクに対して 75% の成功率を達成した。実機に展開した場合、学習済みタスクで 67%、未見タスクで 50% の成功率を得た。マルチ環境適応実験では、GRaD-Nav++ は多様なシミュレーション環境で平均 81%、さまざまな実世界の環境で 67% の成功率を達成した。これらの結果は、完全オンボードの Vision-Language-Action（VLA）飛行に新たなベンチマークを打ち立て、コンパクトで効率的なモデルが外部インフラに頼ることなく信頼性の高い言語誘導ナビゲーションを実現できることを示している。

リンク

arXiv 2506.14009: https://arxiv.org/abs/2506.14009
DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
PDF: https://arxiv.org/pdf/2506.14009v1