Navigation World Models

Autores: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un Diffusion Transformer de 1B parámetros predice fotogramas egocéntricos futuros a partir de fotogramas pasados y acciones de navegación, y después planifica u ordena trayectorias comparando el fotograma final imaginado con una imagen objetivo.

Por qué importa

Planificar mediante simulación permite a un sistema de navegación añadir restricciones en el momento de planificar y muestrear más candidatos para objetivos más difíciles, algo que las políticas fijas no pueden hacer. En RECON, la planificación de NWM por sí sola redujo el ATE a 1,13 desde 1,87 (GNM) y 1,93 (NoMaD), y usar NWM para ordenar las muestras de NoMaD mejoró a NoMaD en los cuatro conjuntos de datos del dominio.

Problema

Las políticas actuales de navegación visual como NoMaD y GNM fijan su comportamiento tras el entrenamiento: no se pueden añadir restricciones nuevas como 'no girar a la izquierda' y no pueden dedicar más cómputo a los problemas más difíciles. Un modelo del mundo que simule adónde llevan las acciones podría resolver ambas cosas, pero el coste de la atención de un Diffusion Transformer estándar crece cuadráticamente con el número de fotogramas de contexto.

Solución propuesta

NWM aprende a predecir un fotograma latente futuro a partir de hasta cuatro fotogramas pasados más una traslación, una rotación de guiñada y un desplazamiento temporal de hasta ±16 s, y se entrena con vídeo de navegación robótica (SCAND, TartanDrive, RECON, HuRoN) y, opcionalmente, con vídeo de Ego4D sin etiquetar. Su Conditional Diffusion Transformer (CDiT) restringe la autoatención al fotograma que se está eliminando de ruido y atiende a los fotogramas pasados mediante atención cruzada, de modo que el coste es lineal en la longitud del contexto. Para planificar, el Cross-Entropy Method busca secuencias de acciones que minimicen el LPIPS entre el último fotograma imaginado y la imagen objetivo, con las restricciones como penalizaciones; alternativamente, NWM ordena trayectorias muestreadas de NoMaD.

Ideas clave

• Restringir la autoatención al fotograma objetivo y leer los fotogramas pasados mediante atención cruzada hace que el coste sea lineal en la longitud del contexto y mejora la predicción respecto a un DiT estándar.
• Condicionar tanto con las acciones como con un desplazamiento temporal funciona mejor: condicionar solo con el tiempo falla (LPIPS 0,760), mientras que acción más tiempo da 0,295 en RECON a 4 s.
• Muestrear cuatro objetivos por estado durante el entrenamiento y usar cuatro fotogramas de contexto mejoran ambos la predicción; con un solo fotograma de contexto el modelo a menudo pierde el hilo.
• El vídeo de Ego4D sin etiquetar mejora la predicción en un entorno no visto (Go Stanford), pero reduce la precisión en la mayoría de los entornos conocidos, con SCAND como excepción.
• Restricciones como 'gira primero y luego avanza' se imponen simplemente poniendo a cero partes de la secuencia de acciones durante la planificación.

Resultados principales

• Navegación condicionada por objetivo en RECON (Tabla 2, trayectorias de 2 s): la planificación de NWM por sí sola da ATE 1,13 y RPE 0,35, frente a 1,87/0,73 de GNM y 1,93/0,52 de NoMaD; ordenar 32 muestras de NoMaD con NWM da 1,78/0,48. La Tabla 5 del apéndice recoge valores de RECON ligeramente distintos para NoMaD (1,95/0,53) y para la ordenación (1,88/0,51 con ×16, 1,79/0,49 con ×32).
• Calidad de vídeo, vídeos de 16 s a 4 FPS: FVD de 200,969 para NWM frente a 762,734 para DIAMOND en RECON, y 276,9 / 494,2 / 401,7 frente a 882,0 / 2289,7 / 1945,1 en HuRoN, TartanDrive y SCAND.
• Mejor predicción a 4 s en RECON (4 objetivos, 4 fotogramas de contexto, acción más tiempo): LPIPS 0,295, DreamSim 0,091, PSNR 15,343.
• La planificación con tres restricciones de acción cumplió todas las restricciones, con diferencias de posición final de +0,36, −0,03 y +0,08 y diferencias de guiñada de +0,61, +0,20 y +0,22 respecto a la planificación sin restricciones.
• Añadir vídeo de Ego4D sin etiquetar mejora el conjunto no visto Go Stanford (LPIPS de 0,658 a 0,652, DreamSim de 0,478 a 0,464), pero empeora RECON (LPIPS de 0,295 a 0,368).
• Cómputo: la introducción dice que CDiT necesita 4× menos FLOPs que un DiT estándar; la Sección 4.2 dice que CDiT rinde mejor hasta 1B parámetros 'consumiendo menos de ×2 FLOPs' y que CDiT-L es ×4 más rápido que DiT-XL. El modelo XL se entrenó en 8 máquinas con 8 GPU H100 cada una.

Limitaciones

• Ante entradas fuera de distribución, el modelo pierde poco a poco el contexto y genera fotogramas que se parecen a los datos de entrenamiento (colapso de modos).
• Le cuesta simular dinámicas temporales como el movimiento de los peatones, aunque a veces lo consigue.
• Las acciones son de navegación de 3-DoF sobre una superficie plana; la navegación de 6-DoF y el control de brazos quedan para trabajo futuro.
• La planificación por sí sola se probó con trayectorias de 2 s y 8 pasos, con una única iteración de CEM y una parametrización de las acciones en línea recta.
• Toda la evaluación es offline sobre conjuntos de datos grabados, sin ejecuciones en bucle cerrado en un robot físico; en HuRoN, el ATE de la planificación por sí sola (4,12) es peor que el de GNM (3,71) y NoMaD (3,73), aunque el pie de la Tabla 5 dice que NWM mejora todas las métricas.

Impacto en el campo

El artículo recibió una CVPR 2025 Best Paper Honorable Mention y tiene 400 citas. Su página oficial del proyecto enlaza al código (github.com/facebookresearch/nwm) y a los pesos del modelo en Hugging Face (facebook/nwm).

Resumen

La navegación es una habilidad fundamental de los agentes con capacidades visomotoras. Presentamos un Navigation World Model (NWM), un modelo controlable de generación de vídeo que predice observaciones visuales futuras a partir de observaciones pasadas y de acciones de navegación. Para capturar dinámicas complejas del entorno, NWM emplea un Conditional Diffusion Transformer (CDiT), entrenado con una colección diversa de vídeos egocéntricos de agentes tanto humanos como robóticos, y escalado hasta 1.000 millones de parámetros. En entornos conocidos, NWM puede planificar trayectorias de navegación simulándolas y evaluando si alcanzan el objetivo deseado. A diferencia de las políticas de navegación supervisadas con un comportamiento fijo, NWM puede incorporar restricciones de forma dinámica durante la planificación. Los experimentos demuestran su eficacia para planificar trayectorias desde cero o para ordenar trayectorias muestreadas de una política externa. Además, NWM aprovecha sus priors visuales aprendidos para imaginar trayectorias en entornos desconocidos a partir de una sola imagen de entrada, lo que lo convierte en una herramienta flexible y potente para los sistemas de navegación de próxima generación.

Enlaces

• arXiv 2412.03572: https://arxiv.org/abs/2412.03572
• DOI 10.1109/CVPR52734.2025.01472: https://doi.org/10.1109/CVPR52734.2025.01472
• PDF: https://arxiv.org/pdf/2412.03572v1
• Código: https://github.com/facebookresearch/nwm
• Página del proyecto: https://amirbar.net/nwm