Navigation World Models

作者: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個 1B 參數的擴散 transformer 依據過去的畫格與導航動作預測未來的第一人稱視角畫格，再比較想像出的最後一格與目標影像，藉此規劃路徑或為路徑排序。

為何重要

透過模擬來規劃，讓導航系統能在規劃時加入限制條件，並為較難的目標取樣更多候選，這是固定策略做不到的。在 RECON 上，獨立的 NWM 規劃把 ATE 從 1.87（GNM）與 1.93（NoMaD）降到 1.13，而以 NWM 為 NoMaD 的樣本排序，則在全部四個域內資料集上改善了 NoMaD。

問題

目前的視覺導航策略（例如 NoMaD 與 GNM）在訓練後行為就固定了：無法加入「不准左轉」之類的新限制條件，也無法在較難的問題上投入更多運算。一個能模擬動作後果的世界模型可以同時解決這兩點，但標準擴散 transformer 的注意力成本會隨上下文畫格數呈二次成長。

提出的方法

NWM 學習依據最多四個過去畫格，加上平移、偏航旋轉與最多 ±16 s 的時間偏移，預測未來的潛在畫格；它以機器人導航影片（SCAND、TartanDrive、RECON、HuRoN）訓練，並可選擇加入沒有標註的 Ego4D 影片。其條件擴散 Transformer（CDiT）把自注意力限制在正在去噪的畫格上，並透過交叉注意力關注過去的畫格，因此成本隨上下文長度線性成長。規劃時，Cross-Entropy Method 搜尋能讓想像出的最後一格與目標影像之間 LPIPS 最小的動作序列，限制條件則作為懲罰項；另一種方式是由 NWM 為從 NoMaD 取樣的軌跡排序。

關鍵見解

• 把自注意力限制在目標畫格上，並透過交叉注意力讀取過去的畫格，使運算成本隨上下文長度線性成長，同時預測表現也優於標準 DiT。
• 同時以動作與時間偏移為條件效果最好：只以時間為條件會失敗（LPIPS 0.760），而動作加時間在 RECON 上 4 s 時達到 0.295。
• 訓練時每個狀態取樣四個目標，以及使用四個上下文畫格，都能改善預測；只用一個上下文畫格時，模型常會跟丟。
• 沒有標註的 Ego4D 影片改善了在未見環境（Go Stanford）中的預測，但降低了在大多數已知環境中的準確度，SCAND 是例外。
• 像「先轉彎，再前進」這樣的限制條件，只要在規劃時把動作序列的部分內容歸零即可施加。

主要結果

• RECON 上的目標條件導航（Table 2，2 s 軌跡）：獨立 NWM 規劃的 ATE 為 1.13、RPE 為 0.35，GNM 為 1.87/0.73，NoMaD 為 1.93/0.52；以 NWM 為 32 個 NoMaD 樣本排序得到 1.78/0.48。附錄 Table 5 列出的 RECON 數值略有不同：NoMaD 為 1.95/0.53，排序為 1.88/0.51（×16）與 1.79/0.49（×32）。
• 影片品質，16 s、4 FPS 的影片：在 RECON 上 NWM 的 FVD 為 200.969，DIAMOND 為 762.734；在 HuRoN、TartanDrive 與 SCAND 上分別為 276.9 / 494.2 / 401.7 對 882.0 / 2289.7 / 1945.1。
• RECON 上最佳的 4 s 預測（4 個目標、4 個上下文畫格、動作加時間）：LPIPS 0.295，DreamSim 0.091，PSNR 15.343。
• 在三種動作限制條件下的規劃滿足了每一項限制，相對於無限制的規劃，最終位置差分別為 +0.36、−0.03 與 +0.08，偏航差分別為 +0.61、+0.20 與 +0.22。
• 加入沒有標註的 Ego4D 影片改善了未見的 Go Stanford 集（LPIPS 0.658 降到 0.652，DreamSim 0.478 降到 0.464），但讓 RECON 變差（LPIPS 0.295 升到 0.368）。
• 運算量：引言表示 CDiT 所需的 FLOPs 比標準 DiT 少 4×；Section 4.2 表示 CDiT 在最多 1B 參數時表現較好，「同時消耗不到 ×2 的 FLOPs」，且 CDiT-L 比 DiT-XL 快 ×4。XL 模型在 8 台機器上訓練，每台配備 8 張 H100 GPU。

限制

• 面對分布外的輸入，模型會逐漸失去上下文，產生類似訓練資料的畫格（模式崩潰）。
• 它難以模擬行人移動等時間動態，雖然有時能成功。
• 動作是平面上的 3-DoF 導航；6-DoF 導航與機器手臂控制留待未來研究。
• 獨立規劃只在 2 s、8 步的軌跡上測試，使用單次 CEM 迭代與直線動作參數化。
• 所有評估都是在錄製的資料集上離線進行，沒有在實體機器人上做閉迴路執行；在 HuRoN 上，獨立規劃的 ATE（4.12）比 GNM（3.71）與 NoMaD（3.73）更差，儘管 Table 5 的說明文字稱 NWM 改善了所有指標。

對領域的影響

這篇論文獲得 CVPR 2025 最佳論文榮譽提名（Best Paper Honorable Mention），被引用 400 次。其官方專案頁面連結了程式碼（github.com/facebookresearch/nwm）以及 Hugging Face 上的模型權重（facebook/nwm）。

摘要

導航是具備視覺-運動能力之代理的一項基本技能。我們提出導航世界模型（Navigation World Model，NWM），這是一種可控的影片生成模型，依據過去的觀測與導航動作預測未來的視覺觀測。為了捕捉複雜的環境動態，NWM 採用條件擴散 Transformer（Conditional Diffusion Transformer，CDiT），以人類與機器人代理的多樣化第一人稱視角影片訓練，並擴展到 10 億參數。在熟悉的環境中，NWM 可以藉由模擬導航軌跡並評估其是否達成期望目標來規劃軌跡。不同於行為固定的監督式導航策略，NWM 能在規劃時動態納入限制條件。實驗證明它在從頭規劃軌跡，或對從外部策略取樣的軌跡進行排序上的有效性。此外，NWM 運用其學到的視覺先驗，只憑一張輸入影像就能在陌生環境中想像軌跡，使其成為下一代導航系統靈活而強大的工具。

連結

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• 程式碼: https://github.com/facebookresearch/nwm
• 專案頁面: https://amirbar.net/nwm