NVIDIA Cosmos 3
Modelos del mundo abiertos de NVIDIA: razonan, generan vídeo y predicen acciones de robot
Licencia
OpenMDW 1.1
Código y pesos: OpenMDW-1.1, leído en los archivos LICENSE de NVIDIA/cosmos y NVIDIA/cosmos-framework y en cada ficha de modelo listada aquí; GitHub muestra NOASSERTION solo porque no reconoce esta licencia. Permite usar, modificar y redistribuir, también con fines comerciales, si se conservan el texto de la licencia y los avisos, no limita las salidas y se extingue para quien demande alegando que el modelo infringe una patente o un derecho de autor. Las fichas de los modelos dicen que están listos para uso comercial y no comercial. Guardrail: el inicio rápido de generación de vídeo necesita nvidia/Cosmos-1.0-Guardrail, que tiene acceso restringido en Hugging Face y está bajo la NVIDIA Open Model License. Dataset: NVIDIA publica su conversión Cosmos3-DROID bajo OpenMDW-1.1; los datos originales de DROID son de sus propios autores, así que revise también sus condiciones. LeRobot: el código de LeRobot para estas políticas es Apache-2.0. Comprobado el 2026-11-11 con los archivos LICENSE, las fichas de modelos y datasets en Hugging Face y openmdw.ai.
Resumen
NVIDIA Cosmos 3 es la familia actual de modelos del mundo abiertos de NVIDIA para la IA física, publicada el 31 de mayo de 2026. Un solo modelo lee y escribe texto, imágenes, vídeo, sonido y acciones de robot, de modo que los mismos pesos pueden describir una escena, generar vídeo de lo que pasa después, simular el efecto de una acción, deducir qué acción causó un cambio y funcionar como política de robot. Las versiones anteriores de Cosmos repartían estas tareas entre modelos separados como Cosmos Predict, Cosmos Transfer y Cosmos Reason. Hay tres tamaños base: Cosmos3-Edge con 4B parámetros para Jetson y otros dispositivos edge, Cosmos3-Nano con 16B para una sola GPU grande y Cosmos3-Super con 64B para GPU de centro de datos. NVIDIA publica además checkpoints de ejemplo post-entrenados para políticas de robot, simulación de conducción y de robots y generación rápida de imagen y vídeo, el Cosmos Framework para entrenar y servir los modelos y un cookbook de recetas. El código y los pesos están bajo OpenMDW-1.1, que permite el uso comercial; LeRobot 0.7 añadió Nano y Edge como políticas de robot en noviembre de 2026.
NVIDIA publicó Cosmos 3 el 31 de mayo de 2026, con los pesos en una colección de Hugging Face, el código en GitHub y un informe técnico (arXiv 2606.02800). El repositorio NVIDIA/cosmos es la casa de la familia: enumera todos los modelos, enlaza las recetas y llama a Cosmos 3 la familia de modelos actual.
Cosmos 3 es un modelo del mundo: aprende cómo cambian las escenas con el tiempo, así que puede predecir y generar lo que ocurre a continuación. NVIDIA lo llama omnimodal porque un solo modelo recibe y produce texto, imágenes, vídeo, audio y acciones, y lo construye como un Mixture-of-Transformers (mezcla de transformadores). Dicho de forma sencilla, cada capa tiene dos juegos de pesos que comparten un mismo paso de atención. El reasoner lee texto e imágenes y escribe texto token a token, como un modelo de visión y lenguaje. El generador produce imágenes, vídeo, sonido y acciones quitando ruido paso a paso, como un modelo de difusión de vídeo. Como ambos están en una misma red, el modelo puede planificar con palabras y después generar el vídeo o la acción que corresponde.
Hay tres modelos base abiertos:
- Cosmos3-Edge, 4B parámetros, publicado el 20 de julio de 2026 para Jetson AGX Orin, Jetson Thor y RTX Pro 6000; genera vídeo en 256p y 480p, razona sobre escenas y da acciones, pero no tiene los modos de sonido ni de transferencia. - Cosmos3-Nano, 16B parámetros, para una RTX Pro 6000, H100 o B200; NVIDIA lo presenta como el modelo base para post-entrenar. - Cosmos3-Super, 64B parámetros, para sistemas H200, B200 y GB200, pensado para la máxima calidad, los datos sintéticos y como maestro para la destilación.
Entre los tres cubren texto a imagen, texto a vídeo e imagen a vídeo con sonido opcional, transferencia de vídeo a partir de mapas de bordes, desenfoque, profundidad o segmentación, predicción de los segundos siguientes de un vídeo, respuesta a preguntas visuales y grounding, dinámica directa (el vídeo que sigue a una acción), dinámica inversa (la acción detrás de un vídeo) y política de robot. El lado de acciones admite movimiento de cámara, coches, poses de mano egocéntricas, robots de uno y dos brazos y el humanoide de AgiBot.
La colección cosmos3-examples reúne checkpoints post-entrenados. Cosmos3-Nano-Policy-DROID y Cosmos3-Edge-Policy-DROID son políticas de robot para el brazo Franka del montaje DROID, entrenadas con Cosmos3-DROID, la conversión de DROID que hizo NVIDIA al formato de datasets de LeRobot. Desde octubre de 2026, cuatro checkpoints de simulación convierten Nano en un simulador interactivo que genera vídeo de conducción con varias cámaras y LiDAR, la vista de un robot de dos brazos mientras actúa, o vídeo fotorrealista a partir de la salida de profundidad o segmentación de un simulador. Super tiene modelos alumnos de 4 pasos para texto a imagen e imagen a vídeo, y Nano y Super tienen versiones FP8.
El Cosmos Framework entrena y sirve los modelos: ajuste fino supervisado, LoRA, destilación y aprendizaje por refuerzo, con inferencia mediante Diffusers, Transformers, vLLM, vLLM-Omni y SGLang; NVIDIA cita también TensorRT-LLM y NIM. El cookbook de Cosmos agrupa sus recetas por objetivo y por presupuesto de GPU. Desde LeRobot 0.7, del 5 de noviembre de 2026, Nano y Edge son tipos de política de LeRobot: la guía de LeRobot explica cómo la política predice a la vez los siguientes fotogramas de vídeo y el siguiente bloque de acciones, y da recetas de ajuste fino para LIBERO, DROID y robots nuevos.
Los modelos de conducción Alpamayo 2 de NVIDIA se basan en backbones de Cosmos 3.
Por qué importa
Cosmos 3 es la generación más reciente de los modelos NVIDIA Cosmos que ya listamos como Cosmos Predict 2.5, un modelo del mundo de vídeo, y Cosmos Policy, que post-entrena un modelo de vídeo Cosmos para convertirlo en una política de robot. Donde aquellos usaban modelos separados para predicción, transferencia, razonamiento y política, NVIDIA describe Cosmos 3 como un único modelo que los sustituye, de modo que un equipo puede razonar, simular y actuar con los mismos pesos y post-entrenar una sola base en vez de varias. Es también uno de los pocos modelos fundacionales abiertos que es a la vez generador de vídeo y política de robot: como NVIDIA Isaac GR00T, puede ajustarse para convertirse en un controlador de tipo VLA, pero predice vídeo futuro junto con las acciones. Con Cosmos3-Edge en 4B y la integración en LeRobot, una política puede ajustarse en una GPU y NVIDIA informa de que funciona en Jetson Thor, lo que pone una política basada en un modelo del mundo al alcance de laboratorios de investigación y no solo de centros de datos.
Qué problema resuelve
Los equipos que construyen robots y vehículos necesitan modelos que entiendan escenas, generen datos de entrenamiento y de prueba, simulen lo que hará una acción y controlen la máquina, y hasta ahora eso suponía modelos separados con código de entrenamiento separado. Entrenar esos modelos desde cero exige datos de vídeo y capacidad de cómputo que pocos grupos tienen. Cosmos 3 publica una familia de modelos abierta que hace todo esto, en tres tamaños desde dispositivos edge hasta GPU de centro de datos, con el código y las recetas para post-entrenarla con los datos de robot, vehículo o cámara de cada equipo.
Puntos clave
- Un modelo omnimodal lee y escribe texto, imágenes, vídeo, sonido y acciones de robot
- Tres tamaños base abiertos: Cosmos3-Edge 4B, Cosmos3-Nano 16B y Cosmos3-Super 64B
- Reúne tareas que las versiones anteriores de Cosmos repartían entre los modelos Predict, Transfer y Reason
- Los ejemplos post-entrenados cubren políticas de robot para DROID, simulación de conducción y de robots y generación rápida
- LeRobot 0.7 ejecuta Nano y Edge como políticas de robot con recetas para LIBERO y DROID
- Código y pesos bajo OpenMDW-1.1, que permite el uso comercial
Para quién es
- Investigadores en aprendizaje robótico que quieren post-entrenar una política basada en un modelo del mundo o un simulador
- Equipos de conducción autónoma y robótica que generan datos de entrenamiento sintéticos o de varias cámaras
- Desarrolladores que despliegan razonamiento visual o políticas de robot en Jetson y otros dispositivos edge
- Usuarios de LeRobot que quieren ajustar un world action model con los datos de su propio robot
Limitaciones
- GPU grandes salvo en Edge: las recetas de post-entrenamiento de Nano están pensadas para 8 GPU, la configuración recomendada por NVIDIA para servir Super usa 8 GPU de centro de datos, y el ajuste fino completo de Nano en LeRobot necesita al menos 4 GPU de 80 GB
- En Jetson, Edge es mucho más lento que en una GPU de centro de datos: NVIDIA mide unos 6,3 s por paso de la política DROID en Jetson AGX Thor frente a unos 1,4 s en una H100
- La generación de vídeo del inicio rápido necesita el modelo con acceso restringido Cosmos-1.0-Guardrail, que está bajo la NVIDIA Open Model License y no bajo OpenMDW-1.1
- NVIDIA señala artefactos en salidas largas, de alta resolución o físicamente complejas, como objetos que cambian de forma y movimientos inverosímiles, y dice que los usos críticos para la seguridad necesitan más validación
- Las clasificaciones de benchmarks, las tasas de éxito de las políticas y las cifras de velocidad son mediciones propias de NVIDIA y LeRobot
- La integración en LeRobot es nueva, publicada con LeRobot 0.7 el 5 de noviembre de 2026
- En las fichas de los modelos solo se ha probado BF16; otras precisiones, aparte de los checkpoints FP8 publicados, no tienen soporte oficial
- Cosmos3-DROID es la conversión que hizo NVIDIA del dataset DROID, que recogieron 13 instituciones y que tiene sus propias condiciones en origen