NVIDIA Alpamayo
Modelos VLA abertos da NVIDIA que planejam e explicam o trajeto; sim, RL e dados
Licença
Apache 2.0
Código: Apache-2.0, no Developer Hub e em cada repositório de modelo, simulador e ferramenta; o devkit do dataset é MIT. Pesos do modelo: OpenMDW-1.1 para os quatro checkpoints. Permite usar, alterar e redistribuir, inclusive comercialmente, desde que o texto da licença e os avisos sejam mantidos, e termina para quem processar alegando que o modelo viola uma patente ou direito autoral. Alpamayo 1 e 1.5: suas fichas de modelo também dizem que estão prontos para uso não comercial, com licença comercial sob consulta, o que contradiz a OpenMDW-1.1; consulte a NVIDIA antes de uso comercial. Dataset: o dataset Physical AI Autonomous Vehicles está sob a NVIDIA Autonomous Vehicle Dataset License, com acesso restrito no Hugging Face: apenas desenvolvimento interno de veículos autônomos e assistência ao motorista com tecnologia da NVIDIA, revogável, sem redistribuição nem datasets derivados, sem identificar pessoas, e termina 12 meses após o download. Verificado em 2026-11-11 com os arquivos LICENSE e os READMEs, as fichas de modelos e datasets no Hugging Face e o openmdw.ai.
Visão geral
NVIDIA Alpamayo é a plataforma aberta da NVIDIA para pesquisa em direção autônoma baseada em raciocínio. Seu núcleo é uma família de modelos visão-linguagem-ação que leem o vídeo das câmeras ao redor de um carro, seu movimento recente e uma instrução de navegação, e devolvem o trajeto dos próximos 6,4 segundos junto com uma explicação escrita da decisão, que a NVIDIA chama de raciocínio Chain-of-Causation. Quatro checkpoints são abertos: Alpamayo 1 e Alpamayo 1.5 com 10B parâmetros, Alpamayo 2 Super com 34B e Alpamayo 2 Edge, um modelo da classe 2B lançado em 10 de novembro de 2026 para rodar dentro do veículo no NVIDIA DRIVE AGX Thor. Ao redor deles estão o AlpaSim para simulação de direção em malha fechada, o AlpaGym para aprendizado por reforço nesse simulador, um pipeline que escreve rótulos de raciocínio para clipes de direção, o dataset Physical AI Autonomous Vehicles e o Alpamayo Developer Hub, com receitas de ajuste fino, aprendizado por reforço, destilação e quantização. O código é Apache-2.0 e os pesos do modelo são OpenMDW-1.1; o dataset tem sua própria licença da NVIDIA, mais restrita.
A NVIDIA apresentou o Alpamayo na CES de janeiro de 2026 como uma família de modelos, ferramentas de simulação e datasets abertos para veículos autônomos, e a ampliou ao longo do ano. O Alpamayo Developer Hub no GitHub é a casa da família: aponta para cada repositório de modelo, simulador e dataset e reúne as receitas de pós-treinamento.
Todo modelo Alpamayo é um modelo VLA construído do mesmo jeito. Um backbone VLM da família Cosmos da NVIDIA lê várias vistas de câmera em uma janela curta de tempo, o movimento recente do carro e uma instrução em texto, e escreve uma breve explicação do que vê e do que vai fazer: o traço Chain-of-Causation (CoC), que liga a decisão aos objetos e eventos que a causam. Em seguida, um action expert baseado em difusão transforma isso em uma trajetória: 64 poses futuras a intervalos de 0,1 segundo, cobrindo 6,4 segundos. O método é descrito no paper Alpamayo-R1 da NVIDIA. Quatro checkpoints são abertos:
- Alpamayo 1 Nano, lançado primeiro como Alpamayo-R1 (pesos): 10B parâmetros, um backbone Cosmos-Reason de 8,2B e um action expert de 2,3B, quatro câmeras frontais e laterais, pelo menos 24 GB de memória de GPU. Seu repositório agora recebe apenas manutenção limitada. - Alpamayo 1.5 Nano (pesos): 10B parâmetros sobre Cosmos-Reason2, pós-treinado com aprendizado por reforço; acrescenta instruções de navegação, um número variável de câmeras e respostas a perguntas sobre a cena. - Alpamayo 2 Super (pesos): 34B parâmetros, um backbone Cosmos 3 de 32B e um action expert de 2,3B, com câmeras em volta de todo o carro, decisões de alto nível como dar preferência, mudar de faixa e parar, grounding 2D e rotulagem automática. A NVIDIA o apresenta como modelo professor para treinar modelos menores dentro do carro. - Alpamayo 2 Edge (pesos), lançado em 10 de novembro de 2026: um backbone de 2,45B do Cosmos 3 Edge, baseado no Nemotron, e um action expert de 0,2B. Lê seis câmeras (22 quadros), 20 poses passadas e uma instrução de navegação, escreve seu raciocínio só quando a situação pede, pode responder perguntas livres sobre a cena e precisa de pelo menos 16 GB de memória de GPU para seus exemplos em BF16, com um download de cerca de 5,3 GB.
Segundo o post do blog da NVIDIA sobre o Alpamayo 2 Edge, o modelo foi destilado de rótulos de raciocínio escritos pelo Alpamayo 2 Super e depois treinado com aprendizado por reforço em malha fechada no AlpaGym, o que melhorou sua direção em malha fechada em 48,9% em relação ao seu melhor checkpoint sem essa etapa. Após calibração FP8, engines TensorRT e decodificação especulativa com DFlash2, a NVIDIA relata de 160 a 190 ms dos pixels da câmera até a trajetória no DRIVE AGX Thor, o computador que a NVIDIA fabrica para carros.
Em torno dos modelos, o AlpaSim é um simulador aberto para testar políticas de direção em malha fechada, em que cada decisão muda o que o carro vê em seguida. Ele roda o motorista, o renderizador, o tráfego, o controlador e a física como serviços separados que podem ficar em GPUs diferentes, renderiza cenas reais gravadas por reconstrução neural NuRec ou por um modelo de vídeo generativo, e também roda políticas de terceiros. O AlpaGym acrescenta aprendizado por reforço sobre o AlpaSim com Cosmos-RL e GRPO, com recompensas para colisões, saída da pista e progresso. O autorrotulador CoC encontra os momentos de um clipe em que o motorista toma uma decisão e escreve traços CoC para eles com um VLM.
O dataset Physical AI Autonomous Vehicles reúne 1.700 horas de direção de 25 países e mais de 2.500 cidades, em 306.151 clipes de 20 segundos, com sete câmeras em cada clipe, LiDAR em 298.325 clipes e radar em 160.760; um devkit em Python o lê. O acesso exige aceitar a licença da NVIDIA no Hugging Face, e os exemplos dos modelos carregam suas entradas dele.
As receitas do Developer Hub cobrem ajuste fino supervisionado dos quatro modelos, aprendizado por reforço com Cosmos-RL e GRPO para o Alpamayo 1 e 1.5, destilação em modelos menores, modelos de rascunho para decodificação especulativa e quantização FP8 e NVFP4 do Alpamayo 1.5. A NVIDIA diz que os modelos mais novos foram treinados com cerca de 115.000 horas de vídeo de direção com várias câmeras e cerca de 3.700.000 traços CoC, e o Alpamayo 1 e 1.5 com 80.000 horas.
Por que importa
A maior parte do software aberto de direção autônoma é ou um stack modular ou, como o Vision Pilot da Autoware Foundation, assistência ao motorista de nível 2 com uma única câmera. O Alpamayo é outra coisa: modelos de direção VLA de ponta a ponta que vão do vídeo da câmera ao trajeto em uma só rede e dizem em palavras por que o escolheram, lançados com pesos, código de inferência, receitas de treinamento, um simulador em malha fechada, um framework de aprendizado por reforço e um grande dataset. Assim, pesquisadores podem estudar e adaptar a direção baseada em raciocínio sem antes construir os dados, a simulação e o treinamento ao redor. É também um dos exemplos públicos mais claros de um modelo de fundação levado a uma tarefa veicular crítica para a segurança: vem da mesma família NVIDIA Cosmos que o Cosmos Predict 2.5 e o Cosmos Policy, e combina um VLM com um modelo de ação por difusão, como fazem VLAs de robôs como o NVIDIA Isaac GR00T. Com o Alpamayo 2 Edge, a família chega a um tamanho que roda em uma única GPU de workstation e, segundo a NVIDIA, dentro de um carro.
Problema que resolve
Modelos de direção de ponta a ponta que aprendem só com dados lidam bem com o tráfego comum, mas são frágeis em situações raras e não justificam o que fazem, o que dificulta confiar neles e validá-los. Construir uma alternativa exige grandes datasets de direção, rótulos de raciocínio, um simulador em malha fechada e uma estrutura de treinamento que poucos grupos fora das grandes empresas têm. O Alpamayo lança tudo isso junto: modelos que geram tanto uma trajetória quanto uma causa escrita para ela, as ferramentas para ajustá-los e testá-los em malha fechada, e um modelo menor feito para caber no orçamento de computação e latência de um carro.
Pontos principais
- Quatro checkpoints VLA de direção abertos: Alpamayo 1 e 1.5 com 10B, Alpamayo 2 Super com 34B e Alpamayo 2 Edge da classe 2B
- Cada um gera 64 poses futuras em 6,4 segundos junto com uma explicação Chain-of-Causation escrita
- O Alpamayo 2 Edge, lançado em 10 de novembro de 2026, roda seus exemplos com 16 GB de memória de GPU e mira o NVIDIA DRIVE AGX Thor
- AlpaSim e AlpaGym oferecem simulação em malha fechada e aprendizado por reforço para políticas de direção
- O Developer Hub tem receitas de ajuste fino, aprendizado por reforço, destilação, decodificação especulativa e quantização
- Código Apache-2.0, pesos OpenMDW-1.1; o dataset de direção tem uma licença da NVIDIA mais restrita
Para quem é
- Pesquisadores de direção autônoma que trabalham com planejamento de ponta a ponta e baseado em raciocínio
- Equipes de veículos autônomos que buscam um modelo professor para destilar ou um modelo compacto para ajustar com dados da própria frota
- Pesquisadores de simulação e aprendizado por reforço que precisam de um ambiente de direção em malha fechada
- Pesquisadores de modelos visão-linguagem-ação e de decisões explicáveis em contextos críticos para a segurança
Limitações
- Feitos para carros: os modelos esperam o sistema de várias câmeras de um veículo, o histórico do próprio movimento e câmeras calibradas, e nada da NVIDIA os mostra em outros robôs
- Ferramentas de pesquisa, não um stack de direção: a NVIDIA diz que o Alpamayo 1 e 1.5 servem a pesquisa e avaliação e não foram validados em nível automotivo
- As fichas do Alpamayo 1 e 1.5 indicam OpenMDW-1.1 para os pesos, mas também dizem que estão prontos para uso não comercial, com licença comercial sob consulta; consulte a NVIDIA antes de uso comercial
- O dataset de direção tem acesso restrito e é licenciado só para desenvolvimento interno de veículos autônomos com tecnologia da NVIDIA, sem redistribuição, e a licença termina 12 meses após o download
- Memória de GPU: pelo menos 16 GB para o Alpamayo 2 Edge, 24 GB para o Alpamayo 1 e 1.5; o Alpamayo 2 Super foi testado em uma H100 de 80 GB, e o uso em tempo real no carro exige o DRIVE AGX Thor
- A receita de implantação do 2 Edge no DRIVE AGX Thor é descrita no blog da NVIDIA, mas o README do hub de 11 de novembro de 2026 ainda a lista como planejada
- Resultados de benchmarks, simulação e no veículo são avaliações da própria NVIDIA e declarações de parceiros
- O Alpamayo 1 recebe agora só manutenção limitada, e o AlpaGym está em desenvolvimento inicial e só suporta o Alpamayo 1.5