GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

저자: Qianzhong Chen, Naixiang Gao, Suning Huang, JunEn Low, Timothy Chen, Jiankai Sun, Mac Schwager · IEEE Robotics and Automation Letters (RA-L) 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

3D Gaussian Splatting 시뮬레이터에서 미분 가능 RL로 학습하고 전문가 혼합(mixture-of-experts) 헤드를 갖춘 쿼드로터용 소형 VLA로, 완전히 온보드에서 실행되며 언어 지시를 따른다.

중요한 이유

언어 조건부 비행 정책을 외부 인프라 없이 소형 온보드 컴퓨터에서 25 Hz로 완전히 실행할 수 있음을 보여 준다. 학습은 RTX 4090 한 대에서 약 7시간이 걸리며, 시뮬레이션으로 학습한 정책은 추가 튜닝 없이 실제 하드웨어에서 비행한다.

문제

언어 안내 드론은 LLM을 사용해 API 호출로 미리 정의된 스킬 중에서 선택하여 저수준 제어와의 간극을 남기거나, 드론의 온보드 컴퓨터에서 실행할 수 없고 지상국 링크가 필요한 수십억 파라미터 규모의 VLA 모델에 의존한다. 이전의 드론 VLA는 레이싱에 국한되었거나 시뮬레이션에서만 평가되었다.

제안 방법

GRaD-Nav++는 10 제어 스텝마다 비동기로 실행되는 고정(frozen)된 CLIP 모델로 지시와 드론의 RGB 영상을 인코딩하고, 이를 최소 풀링된 깊이, beta-VAE 컨텍스트 추정치, 드론 상태와 결합한다. 전문가 2개로 이루어진 전문가 혼합 정책이 이 입력들을 기체 각속도(body-rate)와 추력 명령으로 매핑한다. 정책은 미분 가능한 쿼드로터 모델과 결합된 사실적인 3D Gaussian Splatting 장면에서 미분 가능 RL로 학습되므로, 정책 그래디언트가 동역학을 통해 흐른다.

핵심 통찰

• 3DGS 렌더링과 쿼드로터 동역학을 관통하는 미분 가능 RL은 다중 작업 언어 정책을 학습했지만, 동일한 VLM을 사용한 PPO는 1x10^7 스텝 내에 실패했다.
• VLM은 텍스트를 인코딩하는 데 그치지 않고 지시를 시각 장면에 연결(grounding)한다. 이를 원-핫 작업 코드로 대체하자 학습된 작업의 실제 성공은 0/24였다.
• 작은 전문가 혼합 헤드(전문가 2개, top-2 라우팅)는 환경을 번갈아 가며 학습할 때 치명적 망각을 피했지만, 같은 크기와 더 큰 MLP는 그렇지 못했다.
• CLIP을 비동기로 실행하고 RGB-D에 별도의 CNN을 쓰지 않아 온보드 추론이 빠르다. 깊이는 충돌 회피를 위해 32개 값의 최소 풀링 벡터로 축소된다.
• 비행 중 지시가 바뀌면 CLIP 텍스트-이미지 유사도가 떨어졌다가 드론이 다시 연결(re-grounding)하면서 회복되고, 정책은 새로운 작업을 완수한다.

주요 결과

• 시뮬레이션에서의 다중 작업 일반화: 학습된 작업 성공률 83%(20/24), 보지 못한 작업 75%(9/12). PPO는 0%, VLM 제거 어블레이션은 4%(1/24)와 0%를 기록했다.
• 실제 하드웨어: 학습된 작업 성공률 67%(16/24), 보지 못한 작업 50%(6/12).
• 다중 환경 적응: 시뮬레이션 환경 전반에서 평균 성공률 81%. 초록은 실제 환경 전반에서 67%라고 밝히지만, 논문의 실제 환경 표에는 24회 시행 중 18회(75%)로 집계되어 있다.
• 더 어려운 mid-gate 환경에서 MoE 정책은 시뮬레이션에서 70%, 하드웨어에서 67%의 성공률을 유지했지만, 단일 전문가(25% / 8%)와 대형 네트워크(33% / 25%) 베이스라인은 급격히 떨어졌다.
• 학습에는 RTX 4090 한 대에서 약 7시간(환경 1개, 800 에포크) 또는 약 14시간(환경 2개)이 걸렸다. VLM 추론은 GRaD-Nav 대비 실제 소요 시간을 약 5% 늘렸다.

한계

• 학습에서 본 하위 작업의 새로운 조합에만 일반화된다. 두 하위 작업이 모두 새로우면(예: 'FLY OUT the LEFT door then LAND on the table') 실패하므로 개방형 어휘(open-vocabulary) 솔루션이 아니다(저자).
• 모델 용량과 작업 집합이 작다. 2단계 작업 12개(학습 8개)와 3DGS 환경 2개뿐이다(저자는 이를 위 한계의 원인으로 든다).
• 하드웨어에서 Stage 2(지정된 물체에 접근)는 Stage 1보다 성공률이 더 많이 떨어지며, 저자는 이를 검출, 정밀 제어, 오차 누적 탓으로 본다.
• 각 학습 작업에는 3DGS 점군 위에 배치되고 A* 계획으로 연결된 핵심 웨이포인트로부터 만든 참조 궤적이 필요하다.
• 실제 환경 평가는 작업당 3회 시행으로 규모가 작다.

분야에 미친 영향

RA-L 2026 RA-L Best Paper Award 수상작이며, 현재까지 피인용 26회이다. 라이선스가 부여된 arXiv 버전은 코드, 데이터 또는 프로젝트 페이지를 링크하지 않는다.

초록

비정형 환경에서 고수준 언어 지시를 해석하고 실행할 수 있는 자율 드론은 오랜 목표로 남아 있다. 그러나 기존 접근 방식은 수작업으로 설계된 스킬, 광범위한 파라미터 튜닝, 또는 온보드 사용에 부적합한 계산 집약적 모델에 의존한다는 제약을 받는다. 우리는 완전히 온보드에서 실행되며 자연어 명령을 실시간으로 따르는 경량 Vision-Language-Action(VLA) 프레임워크인 GRaD-Nav++를 소개한다. 우리의 정책은 사실적인 3D Gaussian Splatting(3DGS) 시뮬레이터에서 Differentiable Reinforcement Learning(DiffRL)으로 학습되어, 시각 및 언어 입력으로부터 저수준 제어를 효율적으로 학습할 수 있다. 그 핵심에는 Mixture-of-Experts(MoE) 행동 헤드가 있으며, 이는 계산을 적응적으로 라우팅하여 일반화를 향상시키는 동시에 망각을 완화한다. 다중 작업 일반화 실험에서 GRaD-Nav++는 시뮬레이션에서 학습된 작업에 대해 83%, 보지 못한 작업에 대해 75%의 성공률을 달성한다. 실제 하드웨어에 배포했을 때는 학습된 작업에서 67%, 보지 못한 작업에서 50%의 성공률을 얻는다. 다중 환경 적응 실험에서 GRaD-Nav++는 다양한 시뮬레이션 환경 전반에서 평균 81%, 다양한 실제 환경 전반에서 67%의 성공률을 달성한다. 이러한 결과는 완전 온보드 Vision-Language-Action(VLA) 비행의 새로운 벤치마크를 확립하며, 작고 효율적인 모델이 외부 인프라에 의존하지 않고도 신뢰할 수 있는 언어 안내 내비게이션을 가능하게 할 수 있음을 보여 준다.

링크

• arXiv 2506.14009: https://arxiv.org/abs/2506.14009
• DOI 10.1109/LRA.2025.3643290: https://doi.org/10.1109/LRA.2025.3643290
• PDF: https://arxiv.org/pdf/2506.14009v1