Navigation World Models

Autoren: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Diffusion-Transformer mit 1B Parametern sagt zukünftige egozentrische Frames aus vergangenen Frames und Navigationsaktionen vorher und plant oder bewertet dann Pfade, indem er das vorgestellte letzte Frame mit einem Zielbild vergleicht.

Warum es wichtig ist

Planen durch Simulation erlaubt es einem Navigationssystem, zum Planungszeitpunkt Randbedingungen hinzuzufügen und für schwierigere Ziele mehr Kandidaten zu sampeln, was feste Policies nicht können. Auf RECON senkte eigenständige NWM-Planung den ATE auf 1,13 von 1,87 (GNM) und 1,93 (NoMaD), und das Ranking von NoMaD-Samples mit NWM verbesserte NoMaD auf allen vier In-Domain-Datensätzen.

Problem

Aktuelle visuelle Navigations-Policies wie NoMaD und GNM legen ihr Verhalten nach dem Training fest: Neue Randbedingungen wie 'keine Linksabbiegungen' lassen sich nicht hinzufügen, und sie können für schwierigere Probleme keine zusätzliche Rechenleistung aufwenden. Ein Weltmodell, das simuliert, wohin Aktionen führen, könnte beides angehen, doch die Attention-Kosten eines Standard-Diffusion-Transformers wachsen quadratisch mit der Anzahl der Kontext-Frames.

Lösungsansatz

NWM lernt, ein zukünftiges latentes Frame aus bis zu vier vergangenen Frames plus einer Translation, einer Gierrotation und einer Zeitverschiebung von bis zu ±16 s vorherzusagen, trainiert auf Roboternavigationsvideos (SCAND, TartanDrive, RECON, HuRoN) und optional auf ungelabelten Ego4D-Videos. Sein Conditional Diffusion Transformer (CDiT) beschränkt Self-Attention auf das zu entrauschende Frame und greift über Cross-Attention auf vergangene Frames zu, sodass die Kosten linear in der Kontextlänge sind. Zur Planung durchsucht die Cross-Entropy Method Aktionssequenzen, die die LPIPS zwischen dem vorgestellten letzten Frame und dem Zielbild minimieren, mit Randbedingungen als Strafterme; alternativ bewertet NWM aus NoMaD gesampelte Trajektorien.

Wichtigste Erkenntnisse

Self-Attention auf das Ziel-Frame zu beschränken und vergangene Frames über Cross-Attention zu lesen, macht die Kosten linear in der Kontextlänge und verbessert zugleich die Vorhersage gegenüber einem Standard-DiT.
Die Konditionierung auf Aktionen und eine Zeitverschiebung zugleich funktioniert am besten: Konditionierung nur auf die Zeit versagt (LPIPS 0,760), während Aktion plus Zeit auf RECON bei 4 s 0,295 ergibt.
Das Sampeln von vier Zielen pro Zustand im Training und die Verwendung von vier Kontext-Frames verbessern beide die Vorhersage; mit einem Kontext-Frame verliert das Modell oft den Faden.
Ungelabelte Ego4D-Videos verbessern die Vorhersage in einer ungesehenen Umgebung (Go Stanford), senken aber die Genauigkeit in den meisten bekannten Umgebungen, mit SCAND als Ausnahme.
Randbedingungen wie 'erst drehen, dann geradeaus' werden einfach dadurch auferlegt, dass Teile der Aktionssequenz während der Planung auf null gesetzt werden.

Hauptergebnisse

Zielkonditionierte Navigation auf RECON (Table 2, 2-s-Trajektorien): eigenständige NWM-Planung ATE 1,13 und RPE 0,35 gegenüber 1,87/0,73 für GNM und 1,93/0,52 für NoMaD; das Ranking von 32 NoMaD-Samples mit NWM ergibt 1,78/0,48. Table 5 im Anhang nennt leicht abweichende RECON-Werte für NoMaD (1,95/0,53) und für das Ranking (1,88/0,51 bei ×16, 1,79/0,49 bei ×32).
Videoqualität, 16-s-Videos mit 4 FPS: FVD 200,969 für NWM gegenüber 762,734 für DIAMOND auf RECON sowie 276,9 / 494,2 / 401,7 gegenüber 882,0 / 2289,7 / 1945,1 auf HuRoN, TartanDrive und SCAND.
Beste 4-s-Vorhersage auf RECON (4 Ziele, 4 Kontext-Frames, Aktion plus Zeit): LPIPS 0,295, DreamSim 0,091, PSNR 15,343.
Planung unter drei Aktionsrandbedingungen erfüllte jede Randbedingung, mit Differenzen der Endposition von +0,36, −0,03 und +0,08 und Gierdifferenzen von +0,61, +0,20 und +0,22 gegenüber unbeschränkter Planung.
Das Hinzufügen ungelabelter Ego4D-Videos verbessert den ungesehenen Go-Stanford-Datensatz (LPIPS 0,658 auf 0,652, DreamSim 0,478 auf 0,464), verschlechtert aber RECON (LPIPS 0,295 auf 0,368).
Rechenaufwand: Laut Einleitung benötigt CDiT 4× weniger FLOPs als ein Standard-DiT; laut Section 4.2 schneidet CDiT bis zu 1B Parametern besser ab, 'while consuming less than ×2 FLOPs', und CDiT-L ist ×4 schneller als DiT-XL. Das XL-Modell wurde auf 8 Maschinen mit je 8 H100-GPUs trainiert.

Einschränkungen

Bei Eingaben außerhalb der Verteilung verliert das Modell allmählich den Kontext und erzeugt Frames, die den Trainingsdaten ähneln (Mode Collapse).
Es hat Schwierigkeiten, zeitliche Dynamik wie Fußgängerbewegungen zu simulieren, auch wenn es manchmal gelingt.
Die Aktionen sind 3-DoF-Navigation auf einer ebenen Fläche; 6-DoF-Navigation und Armsteuerung bleiben künftiger Arbeit überlassen.
Eigenständige Planung wurde an 2-s-Trajektorien mit 8 Schritten, mit einer einzigen CEM-Iteration und einer geradlinigen Aktionsparametrisierung getestet.
Die gesamte Evaluierung erfolgt offline auf aufgezeichneten Datensätzen ohne Closed-Loop-Läufe auf einem physischen Roboter; auf HuRoN ist der ATE der eigenständigen Planung (4,12) schlechter als bei GNM (3,71) und NoMaD (3,73), obwohl die Bildunterschrift von Table 5 besagt, dass NWM alle Metriken verbessert.

Wirkung auf das Fachgebiet

Das Paper erhielt eine CVPR 2025 Best Paper Honorable Mention und hat 400 Zitierungen. Seine offizielle Projektseite verlinkt Code (github.com/facebookresearch/nwm) und Modellgewichte auf Hugging Face (facebook/nwm).

Zusammenfassung

Navigation ist eine grundlegende Fähigkeit von Agenten mit visuomotorischen Fähigkeiten. Wir stellen ein Navigation World Model (NWM) vor, ein steuerbares Videogenerierungsmodell, das zukünftige visuelle Beobachtungen auf Grundlage vergangener Beobachtungen und Navigationsaktionen vorhersagt. Um komplexe Umgebungsdynamiken zu erfassen, verwendet NWM einen Conditional Diffusion Transformer (CDiT), der auf einer vielfältigen Sammlung egozentrischer Videos sowohl menschlicher als auch robotischer Agenten trainiert und auf 1 Milliarde Parameter skaliert wird. In vertrauten Umgebungen kann NWM Navigationstrajektorien planen, indem es sie simuliert und bewertet, ob sie das gewünschte Ziel erreichen. Anders als überwacht gelernte Navigations-Policies mit festem Verhalten kann NWM während der Planung dynamisch Randbedingungen einbeziehen. Experimente zeigen seine Wirksamkeit beim Planen von Trajektorien von Grund auf oder durch das Ranking von Trajektorien, die aus einer externen Policy gesampelt werden. Darüber hinaus nutzt NWM seine gelernten visuellen Priors, um sich Trajektorien in unbekannten Umgebungen aus einem einzigen Eingabebild vorzustellen, was es zu einem flexiblen und leistungsstarken Werkzeug für Navigationssysteme der nächsten Generation macht.