Navigation World Models

Autores: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun · CVPR 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um Diffusion Transformer de 1B parâmetros prevê quadros egocêntricos futuros a partir de quadros passados e ações de navegação, e depois planeja ou ranqueia caminhos comparando o quadro final imaginado com uma imagem de objetivo.

Por que importa

Planejar por simulação permite que um sistema de navegação acrescente restrições no momento do planejamento e amostre mais candidatos para objetivos mais difíceis, algo que políticas fixas não conseguem fazer. No RECON, o planejamento do NWM sozinho reduziu o ATE para 1,13, ante 1,87 (GNM) e 1,93 (NoMaD), e usar o NWM para ranquear amostras do NoMaD melhorou o NoMaD nos quatro conjuntos de dados do domínio.

Problema

As políticas atuais de navegação visual, como NoMaD e GNM, fixam seu comportamento após o treinamento: não é possível acrescentar novas restrições como 'sem curvas à esquerda', e elas não conseguem gastar mais computação em problemas mais difíceis. Um modelo de mundo que simule aonde as ações levam poderia resolver as duas coisas, mas o custo de atenção de um Diffusion Transformer padrão cresce quadraticamente com o número de quadros de contexto.

Solução proposta

O NWM aprende a prever um quadro latente futuro a partir de até quatro quadros passados mais uma translação, uma rotação de guinada e um deslocamento temporal de até ±16 s, treinado com vídeo de navegação robótica (SCAND, TartanDrive, RECON, HuRoN) e, opcionalmente, vídeo do Ego4D sem rótulos. Seu Conditional Diffusion Transformer (CDiT) restringe a autoatenção ao quadro que está sendo removido do ruído e atende aos quadros passados por atenção cruzada, de modo que o custo é linear no comprimento do contexto. Para planejar, o Cross-Entropy Method busca sequências de ações que minimizem o LPIPS entre o último quadro imaginado e a imagem de objetivo, com as restrições como penalidades; alternativamente, o NWM ranqueia trajetórias amostradas do NoMaD.

Principais ideias

Restringir a autoatenção ao quadro-alvo e ler os quadros passados por atenção cruzada torna o custo linear no comprimento do contexto e melhora a predição em relação a um DiT padrão.
Condicionar tanto em ações quanto em um deslocamento temporal funciona melhor: condicionar só no tempo falha (LPIPS 0,760), enquanto ação mais tempo dá 0,295 no RECON a 4 s.
Amostrar quatro objetivos por estado durante o treinamento e usar quatro quadros de contexto melhoram a predição; com um único quadro de contexto o modelo muitas vezes se perde.
O vídeo do Ego4D sem rótulos melhora a predição em um ambiente não visto (Go Stanford), mas reduz a precisão na maioria dos ambientes conhecidos, com o SCAND como exceção.
Restrições como 'vire primeiro, depois siga em frente' são impostas simplesmente zerando partes da sequência de ações durante o planejamento.

Principais resultados

Navegação condicionada por objetivo no RECON (Tabela 2, trajetórias de 2 s): o planejamento do NWM sozinho dá ATE 1,13 e RPE 0,35, contra 1,87/0,73 do GNM e 1,93/0,52 do NoMaD; ranquear 32 amostras do NoMaD com o NWM dá 1,78/0,48. A Tabela 5 do apêndice lista valores do RECON ligeiramente diferentes para o NoMaD (1,95/0,53) e para o ranqueamento (1,88/0,51 com ×16, 1,79/0,49 com ×32).
Qualidade de vídeo, vídeos de 16 s a 4 FPS: FVD de 200,969 para o NWM contra 762,734 para o DIAMOND no RECON, e 276,9 / 494,2 / 401,7 contra 882,0 / 2289,7 / 1945,1 no HuRoN, TartanDrive e SCAND.
Melhor predição de 4 s no RECON (4 objetivos, 4 quadros de contexto, ação mais tempo): LPIPS 0,295, DreamSim 0,091, PSNR 15,343.
O planejamento sob três restrições de ação cumpriu todas elas, com diferenças de posição final de +0,36, −0,03 e +0,08 e diferenças de guinada de +0,61, +0,20 e +0,22 em relação ao planejamento sem restrições.
Acrescentar vídeo do Ego4D sem rótulos melhora o conjunto não visto Go Stanford (LPIPS de 0,658 para 0,652, DreamSim de 0,478 para 0,464), mas piora o RECON (LPIPS de 0,295 para 0,368).
Computação: a introdução diz que o CDiT precisa de 4× menos FLOPs que um DiT padrão; a Seção 4.2 diz que o CDiT tem melhor desempenho até 1B parâmetros 'consumindo menos de ×2 FLOPs' e que o CDiT-L é ×4 mais rápido que o DiT-XL. O modelo XL foi treinado em 8 máquinas com 8 GPUs H100 cada.

Limitações

Com entradas fora da distribuição, o modelo perde aos poucos o contexto e gera quadros parecidos com os dados de treinamento (colapso de modos).
Ele tem dificuldade para simular dinâmicas temporais como o movimento de pedestres, embora às vezes consiga.
As ações são de navegação em 3-DoF sobre uma superfície plana; navegação em 6-DoF e controle de braço ficam para trabalhos futuros.
O planejamento sozinho foi testado em trajetórias de 2 s e 8 passos, com uma única iteração do CEM e uma parametrização das ações em linha reta.
Toda a avaliação é offline em conjuntos de dados gravados, sem execuções em malha fechada em um robô físico; no HuRoN, o ATE do planejamento sozinho (4,12) é pior que o do GNM (3,71) e do NoMaD (3,73), embora a legenda da Tabela 5 diga que o NWM melhora todas as métricas.

Impacto na área

O artigo recebeu uma CVPR 2025 Best Paper Honorable Mention e tem 400 citações. Sua página oficial do projeto aponta para o código (github.com/facebookresearch/nwm) e para os pesos do modelo no Hugging Face (facebook/nwm).

Resumo

A navegação é uma habilidade fundamental de agentes com capacidades visuomotoras. Apresentamos um Navigation World Model (NWM), um modelo controlável de geração de vídeo que prevê observações visuais futuras com base em observações passadas e ações de navegação. Para capturar dinâmicas complexas do ambiente, o NWM emprega um Conditional Diffusion Transformer (CDiT), treinado em uma coleção diversificada de vídeos egocêntricos de agentes humanos e robóticos, e escalado até 1 bilhão de parâmetros. Em ambientes conhecidos, o NWM pode planejar trajetórias de navegação simulando-as e avaliando se alcançam o objetivo desejado. Ao contrário das políticas de navegação supervisionadas com comportamento fixo, o NWM pode incorporar restrições dinamicamente durante o planejamento. Os experimentos demonstram sua eficácia em planejar trajetórias do zero ou ranqueando trajetórias amostradas de uma política externa. Além disso, o NWM aproveita seus priors visuais aprendidos para imaginar trajetórias em ambientes desconhecidos a partir de uma única imagem de entrada, o que o torna uma ferramenta flexível e poderosa para sistemas de navegação de próxima geração.

Open Source Robotics