Navigation World Models

作者: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个 1B 参数的扩散 transformer 根据过去的帧和导航动作预测未来的第一人称视角帧，然后通过将想象出的最后一帧与目标图像比较来规划路径或对路径排序。

为何重要

通过模拟进行规划，使导航系统能够在规划时加入约束，并为更难的目标采样更多候选，而固定策略做不到这一点。在 RECON 上，独立的 NWM 规划将 ATE 从 1.87（GNM）和 1.93（NoMaD）降至 1.13，而用 NWM 对 NoMaD 的样本排序，则在全部四个域内数据集上提升了 NoMaD。

问题

当前的视觉导航策略（如 NoMaD 和 GNM）在训练后行为就固定了：无法加入“不准左转”之类的新约束，也无法在更难的问题上投入更多计算。一个能模拟动作后果的世界模型可以同时解决这两点，但标准扩散 transformer 的注意力代价随上下文帧数呈二次增长。

提出的方法

NWM 学习根据最多四个过去帧，加上平移、偏航旋转和最多 ±16 s 的时间偏移，预测未来的潜在帧；它在机器人导航视频（SCAND、TartanDrive、RECON、HuRoN）上训练，并可选择加入无标注的 Ego4D 视频。其条件扩散 Transformer（CDiT）将自注意力限制在正在去噪的帧上，并通过交叉注意力关注过去的帧，因此代价随上下文长度线性增长。在规划时，Cross-Entropy Method 搜索能使想象出的最后一帧与目标图像之间 LPIPS 最小的动作序列，约束以惩罚项形式加入；另一种方式是由 NWM 对从 NoMaD 采样的轨迹排序。

关键见解

• 将自注意力限制在目标帧上，并通过交叉注意力读取过去的帧，使计算代价随上下文长度线性增长，同时预测效果优于标准 DiT。
• 同时以动作和时间偏移为条件效果最好：仅以时间为条件会失败（LPIPS 0.760），而动作加时间在 RECON 上 4 s 时达到 0.295。
• 训练时每个状态采样四个目标、以及使用四个上下文帧，都能改善预测；只用一个上下文帧时，模型经常跟丢。
• 无标注的 Ego4D 视频改善了在未见环境（Go Stanford）中的预测，但降低了在大多数已知环境中的准确度，SCAND 是例外。
• 像“先转弯，再前进”这样的约束，只需在规划时将动作序列的部分内容置零即可施加。

主要结果

• RECON 上的目标条件导航（Table 2，2 s 轨迹）：独立 NWM 规划的 ATE 为 1.13、RPE 为 0.35，而 GNM 为 1.87/0.73，NoMaD 为 1.93/0.52；用 NWM 对 32 个 NoMaD 样本排序得到 1.78/0.48。附录 Table 5 给出的 RECON 数值略有不同：NoMaD 为 1.95/0.53，排序为 1.88/0.51（×16）和 1.79/0.49（×32）。
• 视频质量，16 s、4 FPS 的视频：在 RECON 上 NWM 的 FVD 为 200.969，DIAMOND 为 762.734；在 HuRoN、TartanDrive 和 SCAND 上分别为 276.9 / 494.2 / 401.7 对 882.0 / 2289.7 / 1945.1。
• RECON 上最佳的 4 s 预测（4 个目标、4 个上下文帧、动作加时间）：LPIPS 0.295，DreamSim 0.091，PSNR 15.343。
• 在三种动作约束下的规划满足了每一项约束，相对于无约束规划，最终位置差分别为 +0.36、−0.03 和 +0.08，偏航差分别为 +0.61、+0.20 和 +0.22。
• 加入无标注的 Ego4D 视频改善了未见的 Go Stanford 集（LPIPS 0.658 降至 0.652，DreamSim 0.478 降至 0.464），但使 RECON 变差（LPIPS 0.295 升至 0.368）。
• 计算量：引言称 CDiT 所需的 FLOPs 比标准 DiT 少 4×；Section 4.2 称 CDiT 在最高 1B 参数时表现更好，“同时消耗不到 ×2 的 FLOPs”，并称 CDiT-L 比 DiT-XL 快 ×4。XL 模型在 8 台机器上训练，每台配备 8 张 H100 GPU。

局限

• 对于分布外输入，模型会逐渐丢失上下文，生成类似训练数据的帧（模式坍塌）。
• 它难以模拟行人运动等时间动态，尽管有时能成功。
• 动作为平面上的 3-DoF 导航；6-DoF 导航和机械臂控制留待未来工作。
• 独立规划只在 2 s、8 步的轨迹上测试，使用单次 CEM 迭代和直线动作参数化。
• 所有评估都是在录制数据集上离线进行的，没有在实体机器人上做闭环运行；在 HuRoN 上，独立规划的 ATE（4.12）比 GNM（3.71）和 NoMaD（3.73）更差，尽管 Table 5 的图注称 NWM 改善了所有指标。

对领域的影响

该论文获得 CVPR 2025 最佳论文荣誉提名（Best Paper Honorable Mention），被引用 400 次。其官方项目页面链接了代码（github.com/facebookresearch/nwm）以及 Hugging Face 上的模型权重（facebook/nwm）。

摘要

导航是具备视觉-运动能力的智能体的一项基本技能。我们提出导航世界模型（Navigation World Model，NWM），这是一种可控的视频生成模型，基于过去的观测和导航动作预测未来的视觉观测。为了捕捉复杂的环境动态，NWM 采用条件扩散 Transformer（Conditional Diffusion Transformer，CDiT），在人类和机器人智能体的多样化第一人称视角视频集合上训练，并扩展到 10 亿参数。在熟悉的环境中，NWM 可以通过模拟导航轨迹并评估其是否达到期望目标来规划轨迹。与行为固定的监督式导航策略不同，NWM 可以在规划过程中动态地纳入约束。实验证明了它在从零开始规划轨迹、或对从外部策略采样的轨迹进行排序这两方面的有效性。此外，NWM 利用其学到的视觉先验，能够仅凭单张输入图像在陌生环境中想象轨迹，使其成为下一代导航系统灵活而强大的工具。

链接

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• 代码: https://github.com/facebookresearch/nwm
• 项目主页: https://amirbar.net/nwm