Navigation World Models

著者: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

1B パラメータの Diffusion Transformer が過去のフレームとナビゲーション行動から未来の一人称視点フレームを予測し、想像した最終フレームとゴール画像を比較することで経路を計画または順位付けする。

重要な理由

シミュレーションによる計画により、ナビゲーションシステムは計画時に制約を加え、難しいゴールに対してより多くの候補をサンプリングできるが、固定されたポリシーにはそれができない。RECON では、単独の NWM による計画が ATE を 1.87（GNM）および 1.93（NoMaD）から 1.13 に下げ、NWM で NoMaD のサンプルを順位付けすると、四つのドメイン内データセットすべてで NoMaD が改善した。

課題

NoMaD や GNM のような現在の視覚ナビゲーションポリシーは、学習後に振る舞いが固定される。「左折禁止」のような新しい制約を加えることはできず、難しい問題により多くの計算を費やすこともできない。行動がどこに至るかをシミュレートする世界モデルなら両方に対処できるが、標準的な Diffusion Transformer のアテンションのコストはコンテキストフレーム数の二乗で増大する。

提案手法

NWM は、最大四つの過去フレームに加え、並進、ヨー回転、最大 ±16 s の時間シフトから未来の潜在フレームを予測するよう学習する。学習にはロボットのナビゲーション動画（SCAND、TartanDrive、RECON、HuRoN）と、任意でラベルのない Ego4D 動画を用いる。その Conditional Diffusion Transformer（CDiT）は、自己注意をデノイズ中のフレームに限定し、過去のフレームにはクロスアテンションで注意を向けるため、コストはコンテキスト長に対して線形となる。計画では、Cross-Entropy Method が、想像した最終フレームとゴール画像の間の LPIPS を最小化する行動系列を探索し、制約はペナルティとして扱う。あるいは、NWM が NoMaD からサンプリングした軌道を順位付けする。

主な知見

自己注意を対象フレームに限定し、過去のフレームはクロスアテンションで読み取ることで、コストがコンテキスト長に対して線形になり、かつ標準的な DiT より予測が改善する。
行動と時間シフトの両方で条件付けするのが最も良い。時間のみの条件付けは失敗する（LPIPS 0.760）が、行動と時間を併用すると RECON の 4 s で 0.295 となる。
学習時に状態ごとに四つのゴールをサンプリングすることと、四つのコンテキストフレームを用いることは、いずれも予測を改善する。コンテキストフレームが一つだと、モデルはしばしば追跡を失う。
ラベルのない Ego4D 動画は未知の環境（Go Stanford）での予測を改善するが、既知の環境のほとんどでは精度を下げる。例外は SCAND である。
「まず曲がり、次に前進する」のような制約は、計画中に行動系列の一部をゼロにするだけで課すことができる。

主な結果

RECON でのゴール条件付きナビゲーション（Table 2、2 s の軌道）：単独の NWM による計画は ATE 1.13、RPE 0.35 で、GNM は 1.87/0.73、NoMaD は 1.93/0.52。32 個の NoMaD サンプルを NWM で順位付けすると 1.78/0.48。付録の Table 5 では RECON の値がわずかに異なり、NoMaD は 1.95/0.53、順位付けは 1.88/0.51（×16）と 1.79/0.49（×32）である。
動画の品質、16 s・4 FPS の動画：RECON での FVD は NWM が 200.969、DIAMOND が 762.734。HuRoN、TartanDrive、SCAND ではそれぞれ 276.9 / 494.2 / 401.7 対 882.0 / 2289.7 / 1945.1。
RECON での最良の 4 s 予測（ゴール 4 つ、コンテキストフレーム 4 つ、行動と時間）：LPIPS 0.295、DreamSim 0.091、PSNR 15.343。
三つの行動制約の下での計画はすべての制約を満たし、制約なしの計画に対する最終位置の差は +0.36、−0.03、+0.08、ヨーの差は +0.61、+0.20、+0.22 であった。
ラベルのない Ego4D 動画を加えると、未知の Go Stanford セットは改善する（LPIPS 0.658 から 0.652、DreamSim 0.478 から 0.464）が、RECON は悪化する（LPIPS 0.295 から 0.368）。
計算量：序論では CDiT は標準的な DiT より 4× 少ない FLOPs で済むとし、Section 4.2 では CDiT は 1B パラメータまで「×2 未満の FLOPs で」より良い性能を示し、CDiT-L は DiT-XL より ×4 速いとしている。XL モデルは、それぞれ 8 枚の H100 GPU を備えた 8 台のマシンで学習された。

制限事項

分布外の入力に対しては、モデルは徐々にコンテキストを失い、学習データに似たフレームを生成する（モード崩壊）。
歩行者の動きのような時間的ダイナミクスのシミュレーションは苦手だが、成功することもある。
行動は平面上の 3-DoF ナビゲーションであり、6-DoF のナビゲーションやアームの制御は今後の課題とされている。
単独の計画は、2 s・8 ステップの軌道で、CEM の反復 1 回と直線的な行動パラメータ化によってのみ試験された。
評価はすべて記録済みデータセット上のオフラインで行われ、物理的なロボットでの閉ループ実行はない。HuRoN では、単独計画の ATE（4.12）が GNM（3.71）や NoMaD（3.73）より悪いが、Table 5 のキャプションは NWM がすべての指標を改善するとしている。

分野への影響

本論文は CVPR 2025 Best Paper Honorable Mention を受賞し、被引用数は 400 である。公式プロジェクトページは、コード（github.com/facebookresearch/nwm）と Hugging Face 上のモデルの重み（facebook/nwm）にリンクしている。

概要

ナビゲーションは、視覚運動能力を持つエージェントの基本的なスキルである。我々は、過去の観測とナビゲーション行動に基づいて未来の視覚観測を予測する、制御可能な動画生成モデルであるナビゲーション世界モデル（Navigation World Model、NWM）を提案する。複雑な環境のダイナミクスを捉えるため、NWM は Conditional Diffusion Transformer（CDiT）を採用し、人間とロボットの両方のエージェントによる多様な一人称視点動画の集合で学習し、10 億パラメータまでスケールアップした。慣れた環境では、NWM はナビゲーション軌道をシミュレートし、それが目的のゴールに到達するかを評価することで軌道を計画できる。振る舞いが固定された教師ありナビゲーションポリシーとは異なり、NWM は計画中に制約を動的に取り込むことができる。実験により、ゼロから軌道を計画する場合と、外部ポリシーからサンプリングした軌道を順位付けする場合の両方で、その有効性が示される。さらに NWM は、学習した視覚的事前知識を活用して、単一の入力画像から未知の環境での軌道を想像でき、次世代のナビゲーションシステムのための柔軟で強力なツールとなる。

リンク

arXiv 2412.03572: https://arxiv.org/abs/2412.03572
DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
PDF: https://arxiv.org/pdf/2412.03572v1
コード: https://github.com/facebookresearch/nwm
プロジェクトページ: https://amirbar.net/nwm