Navigation World Models

저자: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

1B 매개변수의 확산 트랜스포머가 과거 프레임과 내비게이션 행동으로부터 미래의 1인칭 프레임을 예측한 뒤, 상상한 마지막 프레임을 목표 이미지와 비교하여 경로를 계획하거나 순위를 매긴다.

중요한 이유

시뮬레이션을 통한 계획은 내비게이션 시스템이 계획 시점에 제약을 추가하고 더 어려운 목표에 대해 더 많은 후보를 샘플링할 수 있게 하는데, 이는 고정된 정책으로는 불가능하다. RECON에서 단독 NWM 계획은 ATE를 1.87(GNM)과 1.93(NoMaD)에서 1.13으로 낮췄으며, NWM으로 NoMaD 샘플의 순위를 매기자 네 개의 도메인 내 데이터셋 모두에서 NoMaD가 개선되었다.

문제

NoMaD와 GNM 같은 현재의 시각 내비게이션 정책은 학습 후 행동이 고정된다. '좌회전 금지' 같은 새로운 제약을 추가할 수 없고, 더 어려운 문제에 더 많은 연산을 쓸 수도 없다. 행동이 어디로 이어지는지 시뮬레이션하는 월드 모델은 두 문제를 모두 해결할 수 있지만, 표준 확산 트랜스포머의 어텐션 비용은 컨텍스트 프레임 수에 따라 제곱으로 증가한다.

제안 방법

NWM은 최대 네 개의 과거 프레임과 평행 이동, 요(yaw) 회전, 최대 ±16 s의 시간 이동으로부터 미래의 잠재 프레임을 예측하도록 학습되며, 로봇 내비게이션 비디오(SCAND, TartanDrive, RECON, HuRoN)와 선택적으로 레이블 없는 Ego4D 비디오로 학습된다. 그 Conditional Diffusion Transformer(CDiT)는 셀프 어텐션을 노이즈 제거 중인 프레임으로 제한하고 과거 프레임에는 크로스 어텐션으로 주의를 기울이므로 비용이 컨텍스트 길이에 선형이다. 계획을 위해서는 Cross-Entropy Method가 상상한 마지막 프레임과 목표 이미지 사이의 LPIPS를 최소화하는 행동 시퀀스를 탐색하며, 제약은 페널티로 처리된다. 또는 NWM이 NoMaD에서 샘플링한 궤적의 순위를 매긴다.

핵심 통찰

• 셀프 어텐션을 대상 프레임으로 제한하고 과거 프레임은 크로스 어텐션으로 읽으면, 비용이 컨텍스트 길이에 선형이 되면서도 표준 DiT보다 예측이 향상된다.
• 행동과 시간 이동을 모두 조건으로 삼는 것이 가장 좋다. 시간만 조건으로 하면 실패하는 반면(LPIPS 0.760), 행동과 시간을 함께 쓰면 RECON의 4 s에서 0.295를 얻는다.
• 학습 중 상태당 목표 네 개를 샘플링하는 것과 컨텍스트 프레임 네 개를 사용하는 것 모두 예측을 개선한다. 컨텍스트 프레임이 하나뿐이면 모델이 자주 추적을 놓친다.
• 레이블 없는 Ego4D 비디오는 보지 못한 환경(Go Stanford)에서 예측을 개선하지만, 알려진 환경 대부분에서는 정확도를 낮추며 SCAND만 예외다.
• '먼저 회전한 다음 전진' 같은 제약은 계획 중에 행동 시퀀스의 일부를 0으로 만드는 것만으로 부과된다.

주요 결과

• RECON에서의 목표 조건 내비게이션(Table 2, 2 s 궤적): 단독 NWM 계획은 ATE 1.13, RPE 0.35로, GNM의 1.87/0.73, NoMaD의 1.93/0.52와 비교된다. NWM으로 NoMaD 샘플 32개의 순위를 매기면 1.78/0.48이다. 부록 Table 5는 NoMaD(1.95/0.53)와 순위 매기기(×16에서 1.88/0.51, ×32에서 1.79/0.49)에 대해 약간 다른 RECON 값을 제시한다.
• 비디오 품질, 4 FPS의 16 s 비디오: RECON에서 FVD는 NWM 200.969, DIAMOND 762.734이며, HuRoN, TartanDrive, SCAND에서는 276.9 / 494.2 / 401.7 대 882.0 / 2289.7 / 1945.1이다.
• RECON에서의 최고 4 s 예측(목표 4개, 컨텍스트 프레임 4개, 행동과 시간): LPIPS 0.295, DreamSim 0.091, PSNR 15.343.
• 세 가지 행동 제약 아래의 계획은 모든 제약을 충족했으며, 제약 없는 계획 대비 최종 위치 차이는 +0.36, −0.03, +0.08, 요 차이는 +0.61, +0.20, +0.22였다.
• 레이블 없는 Ego4D 비디오를 추가하면 보지 못한 Go Stanford 세트가 개선되지만(LPIPS 0.658에서 0.652, DreamSim 0.478에서 0.464), RECON은 나빠진다(LPIPS 0.295에서 0.368).
• 연산량: 서론에서는 CDiT가 표준 DiT보다 4× 적은 FLOPs를 필요로 한다고 하며, Section 4.2에서는 CDiT가 1B 매개변수까지 '×2 미만의 FLOPs를 소비하면서' 더 나은 성능을 내고 CDiT-L이 DiT-XL보다 ×4 빠르다고 한다. XL 모델은 각각 H100 GPU 8개를 갖춘 머신 8대에서 학습되었다.

한계

• 분포 밖 입력에서는 모델이 서서히 컨텍스트를 잃고 학습 데이터를 닮은 프레임을 생성한다(모드 붕괴).
• 보행자 움직임 같은 시간적 동역학을 시뮬레이션하는 데 어려움을 겪지만, 때로는 성공한다.
• 행동은 평평한 표면에서의 3-DoF 내비게이션이다. 6-DoF 내비게이션과 팔 제어는 향후 과제로 남겨 두었다.
• 단독 계획은 2 s, 8단계 궤적에서 단일 CEM 반복과 직선 행동 매개변수화로 시험되었다.
• 모든 평가는 기록된 데이터셋에서의 오프라인 평가이며 실제 로봇에서의 폐루프 실행은 없다. HuRoN에서 단독 계획의 ATE(4.12)는 GNM(3.71)과 NoMaD(3.73)보다 나쁜데, Table 5의 캡션은 NWM이 모든 지표를 개선한다고 말한다.

분야에 미친 영향

이 논문은 CVPR 2025 Best Paper Honorable Mention을 받았으며 인용 횟수는 400회이다. 공식 프로젝트 페이지는 코드(github.com/facebookresearch/nwm)와 Hugging Face의 모델 가중치(facebook/nwm)로 연결된다.

초록

내비게이션은 시각-운동 능력을 가진 에이전트의 기본 기술이다. 우리는 과거 관측과 내비게이션 행동을 바탕으로 미래의 시각 관측을 예측하는 제어 가능한 비디오 생성 모델인 Navigation World Model(NWM)을 소개한다. 복잡한 환경 동역학을 포착하기 위해 NWM은 인간과 로봇 에이전트 모두의 다양한 1인칭 비디오 모음으로 학습되고 10억 개의 매개변수까지 확장된 Conditional Diffusion Transformer(CDiT)를 사용한다. 익숙한 환경에서 NWM은 내비게이션 궤적을 시뮬레이션하고 그것이 원하는 목표를 달성하는지 평가하여 궤적을 계획할 수 있다. 고정된 행동을 갖는 지도 학습 내비게이션 정책과 달리, NWM은 계획 중에 제약을 동적으로 반영할 수 있다. 실험은 처음부터 궤적을 계획하거나 외부 정책에서 샘플링한 궤적의 순위를 매기는 데 있어 그 효과를 입증한다. 또한 NWM은 학습된 시각적 사전 지식을 활용하여 단 한 장의 입력 이미지로부터 익숙하지 않은 환경에서의 궤적을 상상하므로, 차세대 내비게이션 시스템을 위한 유연하고 강력한 도구가 된다.

링크

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• 코드: https://github.com/facebookresearch/nwm
• 프로젝트 페이지: https://amirbar.net/nwm