Navigation World Models

Autori: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un diffusion transformer da 1B parametri predice fotogrammi egocentrici futuri a partire da fotogrammi passati e azioni di navigazione, poi pianifica o ordina i percorsi confrontando il fotogramma finale immaginato con un'immagine obiettivo.

Perché è importante

Pianificare per simulazione consente a un sistema di navigazione di aggiungere vincoli al momento della pianificazione e di campionare più candidati per obiettivi più difficili, cosa che le policy fisse non possono fare. Su RECON, la pianificazione autonoma di NWM ha ridotto l'ATE a 1,13 da 1,87 (GNM) e 1,93 (NoMaD), e usare NWM per ordinare i campioni di NoMaD ha migliorato NoMaD su tutti e quattro i dataset in-domain.

Problema

Le attuali policy di navigazione visiva come NoMaD e GNM fissano il loro comportamento dopo l'addestramento: non si possono aggiungere nuovi vincoli come 'niente svolte a sinistra' e non possono dedicare più calcolo ai problemi più difficili. Un modello del mondo che simuli dove portano le azioni potrebbe risolvere entrambi i problemi, ma il costo dell'attenzione di un diffusion transformer standard cresce quadraticamente con il numero di fotogrammi di contesto.

Soluzione proposta

NWM impara a predire un fotogramma latente futuro a partire da fino a quattro fotogrammi passati più una traslazione, una rotazione di imbardata e uno spostamento temporale fino a ±16 s, ed è addestrato su video di navigazione robotica (SCAND, TartanDrive, RECON, HuRoN) e, facoltativamente, su video non etichettati di Ego4D. Il suo Conditional Diffusion Transformer (CDiT) limita la self-attention al fotogramma in fase di denoising e accede ai fotogrammi passati tramite cross-attention, così il costo è lineare nella lunghezza del contesto. Per la pianificazione, il Cross-Entropy Method cerca sequenze di azioni che minimizzino l'LPIPS tra l'ultimo fotogramma immaginato e l'immagine obiettivo, con i vincoli come penalità; in alternativa NWM ordina traiettorie campionate da NoMaD.

Idee chiave

• Limitare la self-attention al fotogramma obiettivo e leggere i fotogrammi passati tramite cross-attention rende il costo lineare nella lunghezza del contesto e migliora la predizione rispetto a un DiT standard.
• Condizionare sia sulle azioni sia su uno spostamento temporale funziona meglio: il condizionamento solo sul tempo fallisce (LPIPS 0,760), mentre azione più tempo dà 0,295 su RECON a 4 s.
• Campionare quattro obiettivi per stato durante l'addestramento e usare quattro fotogrammi di contesto migliorano entrambi la predizione; con un solo fotogramma di contesto il modello spesso perde il filo.
• Il video non etichettato di Ego4D migliora la predizione in un ambiente mai visto (Go Stanford) ma riduce l'accuratezza nella maggior parte degli ambienti noti, con SCAND come eccezione.
• Vincoli come 'prima gira, poi vai avanti' vengono imposti semplicemente azzerando parti della sequenza di azioni durante la pianificazione.

Risultati principali

• Navigazione condizionata dall'obiettivo su RECON (Tabella 2, traiettorie di 2 s): la pianificazione autonoma di NWM dà ATE 1,13 e RPE 0,35, contro 1,87/0,73 di GNM e 1,93/0,52 di NoMaD; ordinare 32 campioni di NoMaD con NWM dà 1,78/0,48. La Tabella 5 in appendice riporta valori su RECON leggermente diversi per NoMaD (1,95/0,53) e per l'ordinamento (1,88/0,51 con ×16, 1,79/0,49 con ×32).
• Qualità video, video di 16 s a 4 FPS: FVD di 200,969 per NWM contro 762,734 per DIAMOND su RECON, e 276,9 / 494,2 / 401,7 contro 882,0 / 2289,7 / 1945,1 su HuRoN, TartanDrive e SCAND.
• Migliore predizione a 4 s su RECON (4 obiettivi, 4 fotogrammi di contesto, azione più tempo): LPIPS 0,295, DreamSim 0,091, PSNR 15,343.
• La pianificazione con tre vincoli sulle azioni ha rispettato ogni vincolo, con differenze di posizione finale di +0,36, −0,03 e +0,08 e differenze di imbardata di +0,61, +0,20 e +0,22 rispetto alla pianificazione senza vincoli.
• Aggiungere video non etichettati di Ego4D migliora il set mai visto Go Stanford (LPIPS da 0,658 a 0,652, DreamSim da 0,478 a 0,464) ma peggiora RECON (LPIPS da 0,295 a 0,368).
• Calcolo: l'introduzione afferma che CDiT richiede 4× meno FLOPs di un DiT standard; la Sezione 4.2 afferma che CDiT rende meglio fino a 1B parametri 'consumando meno di ×2 FLOPs' e che CDiT-L è ×4 più veloce di DiT-XL. Il modello XL è stato addestrato su 8 macchine con 8 GPU H100 ciascuna.

Limiti

• Con input fuori distribuzione il modello perde lentamente il contesto e genera fotogrammi simili ai dati di addestramento (mode collapse).
• Fatica a simulare dinamiche temporali come il movimento dei pedoni, anche se a volte ci riesce.
• Le azioni sono di navigazione a 3-DoF su una superficie piana; la navigazione a 6-DoF e il controllo del braccio sono lasciati a lavori futuri.
• La pianificazione autonoma è stata testata su traiettorie di 2 s e 8 passi con una sola iterazione di CEM e una parametrizzazione delle azioni in linea retta.
• Tutta la valutazione è offline su dataset registrati, senza prove ad anello chiuso su un robot fisico; su HuRoN, l'ATE della pianificazione autonoma (4,12) è peggiore di quello di GNM (3,71) e NoMaD (3,73), anche se la didascalia della Tabella 5 afferma che NWM migliora tutte le metriche.

Impatto sul settore

L'articolo ha ricevuto una CVPR 2025 Best Paper Honorable Mention e ha 400 citazioni. La sua pagina ufficiale del progetto rimanda al codice (github.com/facebookresearch/nwm) e ai pesi del modello su Hugging Face (facebook/nwm).

Abstract

La navigazione è un'abilità fondamentale degli agenti dotati di capacità visuo-motorie. Introduciamo un Navigation World Model (NWM), un modello controllabile di generazione video che predice le osservazioni visive future in base alle osservazioni passate e alle azioni di navigazione. Per catturare dinamiche ambientali complesse, NWM impiega un Conditional Diffusion Transformer (CDiT), addestrato su una raccolta eterogenea di video egocentrici di agenti sia umani sia robotici, e scalato fino a 1 miliardo di parametri. In ambienti noti, NWM può pianificare traiettorie di navigazione simulandole e valutando se raggiungono l'obiettivo desiderato. A differenza delle policy di navigazione supervisionate con un comportamento fisso, NWM può incorporare vincoli in modo dinamico durante la pianificazione. Gli esperimenti ne dimostrano l'efficacia nel pianificare traiettorie da zero o nell'ordinare traiettorie campionate da una policy esterna. Inoltre, NWM sfrutta i propri prior visivi appresi per immaginare traiettorie in ambienti sconosciuti a partire da una singola immagine in ingresso, il che lo rende uno strumento flessibile e potente per i sistemi di navigazione di nuova generazione.

Link

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• Codice: https://github.com/facebookresearch/nwm
• Pagina del progetto: https://amirbar.net/nwm