Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

NVIDIA Cosmos 3

Modelos de mundo abertos da NVIDIA que raciocinam, geram vídeo e preveem ações de robô

Licença

OpenMDW 1.1

Código e pesos: OpenMDW-1.1, lido nos arquivos LICENSE de NVIDIA/cosmos e NVIDIA/cosmos-framework e em cada ficha de modelo listada aqui; o GitHub mostra NOASSERTION só porque não reconhece esta licença. Ela permite uso, modificação e redistribuição, inclusive comerciais, desde que o texto da licença e os avisos sejam mantidos, não limita as saídas e se encerra para quem processar alegando que o modelo infringe uma patente ou um direito autoral. As fichas dos modelos dizem que eles estão prontos para uso comercial e não comercial. Guardrail: o início rápido de geração de vídeo exige nvidia/Cosmos-1.0-Guardrail, que tem acesso restrito no Hugging Face e está sob a NVIDIA Open Model License. Dataset: a NVIDIA publica sua conversão Cosmos3-DROID sob OpenMDW-1.1; os dados originais do DROID vêm de seus próprios autores, então confira também os termos deles. LeRobot: o código do LeRobot para estas políticas é Apache-2.0. Verificado em 2026-11-11 nos arquivos LICENSE, nas fichas de modelos e datasets no Hugging Face e em openmdw.ai.

Visão geral

NVIDIA Cosmos 3 é a família atual de modelos de mundo abertos da NVIDIA para IA física, lançada em 31 de maio de 2026. Um único modelo lê e escreve texto, imagens, vídeo, som e ações de robô, então os mesmos pesos podem descrever uma cena, gerar vídeo do que acontece depois, simular o efeito de uma ação, descobrir qual ação causou uma mudança e funcionar como política de robô. As versões anteriores do Cosmos dividiam essas tarefas entre modelos separados, como Cosmos Predict, Cosmos Transfer e Cosmos Reason. Há três tamanhos base: Cosmos3-Edge com 4B parâmetros para Jetson e outros dispositivos de borda, Cosmos3-Nano com 16B para uma única GPU grande e Cosmos3-Super com 64B para GPUs de data center. A NVIDIA também publica checkpoints de exemplo pós-treinados para políticas de robô, simulação de direção e de robôs e geração rápida de imagens e vídeos, o Cosmos Framework para treino e serviço e um cookbook de receitas. Código e pesos estão sob OpenMDW-1.1, que permite uso comercial; o LeRobot 0.7 adicionou Nano e Edge como políticas de robô em novembro de 2026.

A NVIDIA lançou o Cosmos 3 em 31 de maio de 2026, com os pesos em uma coleção do Hugging Face, o código no GitHub e um relatório técnico (arXiv 2606.02800). O repositório NVIDIA/cosmos é a casa da família: lista todos os modelos, aponta para as receitas e chama o Cosmos 3 de família de modelos atual.

O Cosmos 3 é um modelo de mundo: aprende como as cenas mudam ao longo do tempo e, por isso, consegue prever e gerar o que acontece em seguida. A NVIDIA o chama de omnimodal porque um único modelo recebe e produz texto, imagens, vídeo, áudio e ações, e o constrói como um Mixture-of-Transformers (mistura de transformadores). Em termos simples, cada camada tem dois conjuntos de pesos que compartilham uma mesma etapa de atenção. O reasoner lê texto e imagens e escreve texto um token por vez, como um modelo de visão e linguagem. O gerador produz imagens, vídeo, som e ações removendo ruído passo a passo, como um modelo de difusão de vídeo. Como os dois ficam na mesma rede, o modelo pode planejar em palavras e depois gerar o vídeo ou a ação correspondente.

Três modelos base são abertos:

- Cosmos3-Edge, 4B parâmetros, lançado em 20 de julho de 2026 para Jetson AGX Orin, Jetson Thor e RTX Pro 6000; gera vídeo em 256p e 480p, raciocina sobre cenas e produz ações, mas não tem os modos de som e de transferência. - Cosmos3-Nano, 16B parâmetros, para uma RTX Pro 6000, H100 ou B200; a NVIDIA o apresenta como o modelo base para pós-treinar. - Cosmos3-Super, 64B parâmetros, para sistemas H200, B200 e GB200, voltado à maior qualidade, a dados sintéticos e a servir de professor na destilação.

Juntos, cobrem texto para imagem, texto para vídeo e imagem para vídeo com som opcional, transferência de vídeo a partir de mapas de bordas, desfoque, profundidade ou segmentação, previsão dos próximos segundos de um vídeo, respostas a perguntas visuais e grounding, dinâmica direta (o vídeo que segue uma ação), dinâmica inversa (a ação por trás de um vídeo) e política de robô. O lado de ações suporta movimento de câmera, carros, poses de mão egocêntricas, robôs de um e dois braços e o humanoide da AgiBot.

A coleção cosmos3-examples reúne checkpoints pós-treinados. Cosmos3-Nano-Policy-DROID e Cosmos3-Edge-Policy-DROID são políticas de robô para o braço Franka da montagem DROID, treinadas no Cosmos3-DROID, a conversão do DROID feita pela NVIDIA para o formato de dataset do LeRobot. Desde outubro de 2026, quatro checkpoints de simulação transformam o Nano em um simulador interativo que gera vídeo de direção com várias câmeras e LiDAR, a visão de um robô de dois braços enquanto ele age, ou vídeo fotorrealista a partir da saída de profundidade ou segmentação de um simulador. O Super tem modelos alunos de 4 passos para texto para imagem e imagem para vídeo, e Nano e Super têm versões FP8.

O Cosmos Framework treina e serve os modelos: ajuste fino supervisionado, LoRA, destilação e aprendizado por reforço, com inferência via Diffusers, Transformers, vLLM, vLLM-Omni e SGLang; a NVIDIA também cita TensorRT-LLM e NIM. O cookbook do Cosmos organiza as receitas por objetivo e por orçamento de GPU. Desde o LeRobot 0.7, de 5 de novembro de 2026, Nano e Edge são tipos de política do LeRobot: o guia do LeRobot explica como a política prevê juntos os próximos quadros de vídeo e o próximo bloco de ações, e traz receitas de ajuste fino para LIBERO, DROID e robôs novos.

Os modelos de direção Alpamayo 2 da NVIDIA são construídos sobre backbones do Cosmos 3.

Por que importa

O Cosmos 3 é a geração mais nova dos modelos NVIDIA Cosmos que já listamos como Cosmos Predict 2.5, um modelo de mundo de vídeo, e Cosmos Policy, que pós-treina um modelo de vídeo Cosmos para virar uma política de robô. Onde aqueles usavam modelos separados para previsão, transferência, raciocínio e política, a NVIDIA descreve o Cosmos 3 como um único modelo que os substitui, então uma equipe pode raciocinar, simular e agir com os mesmos pesos e pós-treinar uma base em vez de várias. É também um dos poucos modelos de fundação abertos que é ao mesmo tempo gerador de vídeo e política de robô: como o NVIDIA Isaac GR00T, pode ser ajustado para virar um controlador no estilo VLA, mas prevê o vídeo futuro junto com as ações. Com o Cosmos3-Edge em 4B e a integração com o LeRobot, uma política pode ser ajustada em uma GPU e a NVIDIA relata que ela roda no Jetson Thor, o que coloca uma política baseada em modelo de mundo ao alcance de laboratórios de pesquisa, e não só de data centers.

Problema que resolve

Equipes que constroem robôs e veículos precisam de modelos que entendam cenas, gerem dados de treino e de teste, simulem o que uma ação fará e controlem a máquina, e até agora isso significava modelos separados com código de treino separado. Treinar esses modelos do zero exige dados de vídeo e poder de computação que poucos grupos têm. O Cosmos 3 publica uma família de modelos aberta que faz tudo isso, em três tamanhos, de dispositivos de borda a GPUs de data center, com o código e as receitas para pós-treiná-la nos dados de robô, veículo ou câmera de cada equipe.

Pontos principais

  • Um modelo omnimodal lê e escreve texto, imagens, vídeo, som e ações de robô
  • Três tamanhos base abertos: Cosmos3-Edge 4B, Cosmos3-Nano 16B e Cosmos3-Super 64B
  • Reúne tarefas que versões anteriores do Cosmos dividiam entre os modelos Predict, Transfer e Reason
  • Os exemplos pós-treinados cobrem políticas de robô para DROID, simulação de direção e de robôs e geração rápida
  • O LeRobot 0.7 roda Nano e Edge como políticas de robô com receitas para LIBERO e DROID
  • Código e pesos sob OpenMDW-1.1, que permite uso comercial

Para quem é

  • Pesquisadores de aprendizado robótico que querem pós-treinar uma política baseada em modelo de mundo ou um simulador
  • Equipes de direção autônoma e robótica que geram dados de treino sintéticos ou de várias câmeras
  • Desenvolvedores que levam raciocínio visual ou políticas de robô ao Jetson e a outros dispositivos de borda
  • Usuários do LeRobot que querem ajustar um world action model com os dados do próprio robô

Limitações

  • GPUs grandes, exceto no Edge: as receitas de pós-treino do Nano são feitas para 8 GPUs, a configuração recomendada pela NVIDIA para servir o Super usa 8 GPUs de data center, e o ajuste fino completo do Nano no LeRobot exige pelo menos 4 GPUs de 80 GB
  • No Jetson, o Edge é bem mais lento do que em uma GPU de data center: a NVIDIA mede cerca de 6,3 s por passo da política DROID no Jetson AGX Thor contra cerca de 1,4 s em uma H100
  • A geração de vídeo do início rápido exige o modelo de acesso restrito Cosmos-1.0-Guardrail, que está sob a NVIDIA Open Model License e não sob OpenMDW-1.1
  • A NVIDIA aponta artefatos em saídas longas, de alta resolução ou fisicamente complexas, como objetos que mudam de forma e movimentos implausíveis, e diz que usos críticos para a segurança exigem mais validação
  • Rankings de benchmarks, taxas de sucesso das políticas e números de velocidade são medições próprias da NVIDIA e do LeRobot
  • A integração com o LeRobot é nova, lançada com o LeRobot 0.7 em 5 de novembro de 2026
  • Só o BF16 foi testado nas fichas dos modelos; outras precisões, além dos checkpoints FP8 publicados, não têm suporte oficial
  • O Cosmos3-DROID é a conversão da NVIDIA do dataset DROID, coletado por 13 instituições e com termos próprios na origem

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.