Navigation World Models

Auteurs: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un transformer de diffusion de 1B paramètres prédit les images égocentriques futures à partir des images passées et des actions de navigation, puis planifie ou classe des chemins en comparant l'image finale imaginée à une image cible.

Pourquoi c'est important

Planifier par simulation permet à un système de navigation d'ajouter des contraintes au moment de la planification et d'échantillonner davantage de candidats pour des objectifs plus difficiles, ce que des politiques figées ne peuvent pas faire. Sur RECON, la planification NWM autonome a abaissé l'ATE à 1,13 contre 1,87 (GNM) et 1,93 (NoMaD), et utiliser NWM pour classer des échantillons de NoMaD a amélioré NoMaD sur les quatre jeux de données du domaine.

Problème

Les politiques actuelles de navigation visuelle comme NoMaD et GNM figent leur comportement après l'entraînement : de nouvelles contraintes comme « pas de virage à gauche » ne peuvent pas être ajoutées, et elles ne peuvent pas consacrer davantage de calcul aux problèmes plus difficiles. Un modèle du monde qui simule où mènent les actions pourrait répondre aux deux, mais le coût d'attention d'un transformer de diffusion standard croît de manière quadratique avec le nombre d'images de contexte.

Solution proposée

NWM apprend à prédire une image latente future à partir de jusqu'à quatre images passées plus une translation, une rotation en lacet et un décalage temporel allant jusqu'à ±16 s, entraîné sur des vidéos de navigation robotique (SCAND, TartanDrive, RECON, HuRoN) et éventuellement sur des vidéos Ego4D non étiquetées. Son Conditional Diffusion Transformer (CDiT) restreint l'auto-attention à l'image en cours de débruitage et accède aux images passées par attention croisée, de sorte que le coût est linéaire en longueur de contexte. Pour la planification, la Cross-Entropy Method cherche des séquences d'actions qui minimisent la LPIPS entre la dernière image imaginée et l'image cible, avec les contraintes sous forme de pénalités ; sinon, NWM classe des trajectoires échantillonnées à partir de NoMaD.

Idées clés

• Restreindre l'auto-attention à l'image cible et lire les images passées par attention croisée rend le coût linéaire en longueur de contexte tout en améliorant la prédiction par rapport à un DiT standard.
• Conditionner à la fois sur les actions et sur un décalage temporel fonctionne le mieux : le conditionnement sur le temps seul échoue (LPIPS 0,760), tandis qu'action plus temps donne 0,295 sur RECON à 4 s.
• Échantillonner quatre objectifs par état pendant l'entraînement et utiliser quatre images de contexte améliorent tous deux la prédiction ; avec une seule image de contexte, le modèle perd souvent le fil.
• La vidéo Ego4D non étiquetée améliore la prédiction dans un environnement inédit (Go Stanford) mais réduit la précision dans la plupart des environnements connus, SCAND faisant exception.
• Des contraintes telles que « tourner d'abord, puis avancer » sont imposées simplement en mettant à zéro des parties de la séquence d'actions pendant la planification.

Principaux résultats

• Navigation conditionnée par l'objectif sur RECON (Table 2, trajectoires de 2 s) : planification NWM autonome ATE 1,13 et RPE 0,35, contre 1,87/0,73 pour GNM et 1,93/0,52 pour NoMaD ; classer 32 échantillons de NoMaD avec NWM donne 1,78/0,48. La Table 5 de l'annexe indique des valeurs RECON légèrement différentes pour NoMaD (1,95/0,53) et pour le classement (1,88/0,51 à ×16, 1,79/0,49 à ×32).
• Qualité vidéo, vidéos de 16 s à 4 FPS : FVD de 200,969 pour NWM contre 762,734 pour DIAMOND sur RECON, et 276,9 / 494,2 / 401,7 contre 882,0 / 2289,7 / 1945,1 sur HuRoN, TartanDrive et SCAND.
• Meilleure prédiction à 4 s sur RECON (4 objectifs, 4 images de contexte, action plus temps) : LPIPS 0,295, DreamSim 0,091, PSNR 15,343.
• La planification sous trois contraintes d'action a respecté chaque contrainte, avec des écarts de position finale de +0,36, −0,03 et +0,08 et des écarts de lacet de +0,61, +0,20 et +0,22 par rapport à la planification sans contrainte.
• L'ajout de vidéos Ego4D non étiquetées améliore l'ensemble inédit Go Stanford (LPIPS de 0,658 à 0,652, DreamSim de 0,478 à 0,464) mais dégrade RECON (LPIPS de 0,295 à 0,368).
• Calcul : l'introduction indique que CDiT nécessite 4× moins de FLOPs qu'un DiT standard ; la Section 4.2 indique que CDiT est plus performant jusqu'à 1B paramètres « while consuming less than ×2 FLOPs » et que CDiT-L est ×4 plus rapide que DiT-XL. Le modèle XL a été entraîné sur 8 machines dotées chacune de 8 GPU H100.

Limites

• Sur des entrées hors distribution, le modèle perd lentement le contexte et génère des images ressemblant aux données d'entraînement (effondrement de mode).
• Il peine à simuler des dynamiques temporelles comme le mouvement des piétons, bien qu'il y parvienne parfois.
• Les actions correspondent à une navigation à 3-DoF sur une surface plane ; la navigation à 6-DoF et la commande d'un bras sont laissées à des travaux futurs.
• La planification autonome a été testée sur des trajectoires de 2 s à 8 pas, avec une seule itération de CEM et une paramétrisation des actions en ligne droite.
• Toute l'évaluation est hors ligne sur des jeux de données enregistrés, sans exécution en boucle fermée sur un robot physique ; sur HuRoN, l'ATE de la planification autonome (4,12) est moins bon que celui de GNM (3,71) et de NoMaD (3,73), alors même que la légende de la Table 5 affirme que NWM améliore toutes les métriques.

Impact sur le domaine

L'article a reçu une CVPR 2025 Best Paper Honorable Mention et compte 400 citations. Sa page de projet officielle renvoie au code (github.com/facebookresearch/nwm) et aux poids du modèle sur Hugging Face (facebook/nwm).

Résumé

La navigation est une compétence fondamentale des agents dotés de capacités visuo-motrices. Nous présentons un Navigation World Model (NWM), un modèle contrôlable de génération vidéo qui prédit les observations visuelles futures à partir des observations passées et des actions de navigation. Pour capturer la dynamique complexe de l'environnement, NWM emploie un Conditional Diffusion Transformer (CDiT), entraîné sur une collection variée de vidéos égocentriques d'agents humains et robotiques, et porté à 1 milliard de paramètres. Dans des environnements familiers, NWM peut planifier des trajectoires de navigation en les simulant et en évaluant si elles atteignent l'objectif souhaité. Contrairement aux politiques de navigation supervisées au comportement figé, NWM peut intégrer dynamiquement des contraintes pendant la planification. Les expériences démontrent son efficacité pour planifier des trajectoires à partir de zéro ou en classant des trajectoires échantillonnées à partir d'une politique externe. En outre, NWM exploite ses a priori visuels appris pour imaginer des trajectoires dans des environnements inconnus à partir d'une seule image d'entrée, ce qui en fait un outil flexible et puissant pour les systèmes de navigation de nouvelle génération.

Liens

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• Code: https://github.com/facebookresearch/nwm
• Page du projet: https://amirbar.net/nwm