NVIDIA Cosmos 3
Modelli del mondo aperti di NVIDIA che ragionano, generano video e prevedono azioni robot
Licenza
OpenMDW 1.1
Codice e pesi: OpenMDW-1.1, letto nei file LICENSE di NVIDIA/cosmos e NVIDIA/cosmos-framework e in ogni scheda di modello qui elencata; GitHub mostra NOASSERTION solo perché non riconosce questa licenza. Consente uso, modifica e ridistribuzione, anche commerciali, se si conservano il testo della licenza e gli avvisi, non pone limiti agli output e decade per chi fa causa sostenendo che il modello violi un brevetto o un diritto d'autore. Le schede dei modelli dicono che sono pronti per uso commerciale e non commerciale. Guardrail: il quick start per la generazione video richiede nvidia/Cosmos-1.0-Guardrail, ad accesso limitato su Hugging Face e sotto la NVIDIA Open Model License. Dataset: NVIDIA pubblica la sua conversione Cosmos3-DROID sotto OpenMDW-1.1; i dati DROID originali vengono dai loro autori, quindi controllate anche le loro condizioni. LeRobot: il codice di LeRobot per queste policy è Apache-2.0. Verificato il 2026-11-11 sui file LICENSE, sulle schede di modelli e dataset su Hugging Face e su openmdw.ai.
Panoramica
NVIDIA Cosmos 3 è l'attuale famiglia di modelli del mondo aperti di NVIDIA per la physical AI, pubblicata il 31 maggio 2026. Un solo modello legge e scrive testo, immagini, video, suono e azioni del robot, così gli stessi pesi possono descrivere una scena, generare il video di ciò che accade dopo, simulare l'effetto di un'azione, ricavare quale azione ha causato un cambiamento e fare da policy del robot. Le versioni precedenti di Cosmos dividevano questi compiti fra modelli separati come Cosmos Predict, Cosmos Transfer e Cosmos Reason. Ci sono tre taglie di base: Cosmos3-Edge con 4B parametri per Jetson e altri dispositivi edge, Cosmos3-Nano con 16B per una sola GPU grande e Cosmos3-Super con 64B per GPU da data center. NVIDIA pubblica anche checkpoint di esempio post-addestrati per policy di robot, simulazione di guida e di robot e generazione rapida di immagini e video, il Cosmos Framework per addestramento e servizio e un cookbook di ricette. Codice e pesi sono sotto OpenMDW-1.1, che consente l'uso commerciale; LeRobot 0.7 ha aggiunto Nano ed Edge come policy di robot nel novembre 2026.
NVIDIA ha pubblicato Cosmos 3 il 31 maggio 2026, con i pesi in una collezione su Hugging Face, il codice su GitHub e un rapporto tecnico (arXiv 2606.02800). Il repository NVIDIA/cosmos è la casa della famiglia: elenca ogni modello, rimanda alle ricette e chiama Cosmos 3 l'attuale famiglia di modelli.
Cosmos 3 è un modello del mondo: impara come cambiano le scene nel tempo, quindi può prevedere e generare ciò che accade dopo. NVIDIA lo definisce omnimodale perché un solo modello riceve e produce testo, immagini, video, audio e azioni, e lo costruisce come Mixture-of-Transformers. In parole semplici, ogni strato ha due insiemi di pesi che condividono un unico passaggio di attention. Il reasoner legge testo e immagini e scrive testo un token alla volta, come un modello Vision-Language (VLM). Il generatore produce immagini, video, suono e azioni togliendo rumore passo dopo passo, come un modello di diffusione video. Poiché stanno nella stessa rete, il modello può pianificare a parole e poi generare il video o l'azione corrispondente.
Tre modelli di base sono aperti:
- Cosmos3-Edge, 4B parametri, uscito il 20 luglio 2026 per Jetson AGX Orin, Jetson Thor e RTX Pro 6000; genera video a 256p e 480p, ragiona sulle scene e produce azioni, ma non ha le modalità audio e transfer. - Cosmos3-Nano, 16B parametri, per una RTX Pro 6000, H100 o B200; NVIDIA lo presenta come modello di base da post-addestrare. - Cosmos3-Super, 64B parametri, per sistemi H200, B200 e GB200, pensato per la massima qualità, i dati sintetici e come insegnante per la distillazione.
Insieme coprono testo-immagine, testo-video e immagine-video con audio facoltativo, transfer video da mappe di contorni, sfocatura, profondità o segmentazione, previsione dei secondi successivi di un video, risposta a domande visive e grounding, dinamica diretta (il video che segue un'azione), dinamica inversa (l'azione dietro un video) e policy del robot. Sul lato azioni supporta movimento della telecamera, automobili, pose della mano egocentriche, robot a uno e due bracci e l'umanoide di AgiBot.
La collezione cosmos3-examples raccoglie checkpoint post-addestrati. Cosmos3-Nano-Policy-DROID e Cosmos3-Edge-Policy-DROID sono policy per il braccio Franka della configurazione DROID, addestrate su Cosmos3-DROID, la conversione di DROID fatta da NVIDIA nel formato di dataset di LeRobot. Da ottobre 2026 quattro checkpoint di simulazione trasformano Nano in un simulatore interattivo che genera video di guida da più telecamere con LiDAR, la vista di un robot a due bracci mentre agisce, o video fotorealistico a partire dall'uscita di profondità o segmentazione di un simulatore. Super ha modelli studente a 4 passi per testo-immagine e immagine-video, e Nano e Super hanno versioni FP8.
Il Cosmos Framework addestra e serve i modelli: fine-tuning supervisionato, LoRA, distillazione e apprendimento per rinforzo, con inferenza tramite Diffusers, Transformers, vLLM, vLLM-Omni e SGLang; NVIDIA elenca anche TensorRT-LLM e NIM. Il cookbook di Cosmos ordina le ricette per obiettivo e per budget di GPU. Da LeRobot 0.7 del 5 novembre 2026, Nano ed Edge sono tipi di policy di LeRobot: la guida di LeRobot spiega come la policy prevede insieme i fotogrammi video successivi e il blocco di azioni successivo, e dà ricette di fine-tuning per LIBERO, DROID e nuovi robot.
I modelli di guida Alpamayo 2 di NVIDIA si basano su backbone di Cosmos 3.
Perché è importante
Cosmos 3 è la generazione più recente dei modelli NVIDIA Cosmos che già elenchiamo come Cosmos Predict 2.5, un modello del mondo video, e Cosmos Policy, che post-addestra un modello video Cosmos trasformandolo in una policy di robot. Dove quelli richiedevano modelli separati per previsione, transfer, ragionamento e policy, NVIDIA descrive Cosmos 3 come un unico modello che li sostituisce, così un team può ragionare, simulare e agire con gli stessi pesi e post-addestrare una base invece di diverse. È anche uno dei pochi foundation model aperti che è insieme generatore video e policy di robot: come NVIDIA Isaac GR00T può essere affinato in un controller in stile modello Vision-Language-Action (VLA), ma prevede il video futuro insieme alle azioni. Con Cosmos3-Edge a 4B e l'integrazione in LeRobot, una policy si può affinare su una sola GPU e NVIDIA riferisce che gira su Jetson Thor, il che porta una policy basata su un modello del mondo alla portata dei laboratori di ricerca e non solo dei data center.
Il problema che risolve
I team che costruiscono robot e veicoli hanno bisogno di modelli che capiscano le scene, generino dati di addestramento e di test, simulino cosa farà un'azione e controllino la macchina, e finora questo significava modelli separati con codice di addestramento separato. Addestrare questi modelli da zero richiede dati video e potenza di calcolo che pochi gruppi hanno. Cosmos 3 pubblica una famiglia di modelli aperta che fa tutto questo, in tre taglie dai dispositivi edge alle GPU da data center, con il codice e le ricette per post-addestrarla sui dati di robot, veicoli o telecamere di ogni team.
Punti chiave
- Un modello omnimodale legge e scrive testo, immagini, video, suono e azioni del robot
- Tre taglie di base aperte: Cosmos3-Edge 4B, Cosmos3-Nano 16B e Cosmos3-Super 64B
- Riunisce compiti che le versioni precedenti di Cosmos dividevano fra i modelli Predict, Transfer e Reason
- Gli esempi post-addestrati coprono policy di robot per DROID, simulazione di guida e di robot e generazione rapida
- LeRobot 0.7 esegue Nano ed Edge come policy di robot con ricette per LIBERO e DROID
- Codice e pesi sotto OpenMDW-1.1, che consente l'uso commerciale
A chi si rivolge
- Ricercatori di robot learning che vogliono post-addestrare una policy basata su un modello del mondo o un simulatore
- Team di guida autonoma e robotica che generano dati di addestramento sintetici o da più telecamere
- Sviluppatori che portano ragionamento visivo o policy di robot su Jetson e altri dispositivi edge
- Utenti di LeRobot che vogliono affinare un world action model sui dati del proprio robot
Limiti
- GPU grandi tranne per Edge: le ricette di post-addestramento di Nano sono pensate per 8 GPU, la configurazione consigliata da NVIDIA per servire Super usa 8 GPU da data center, e il fine-tuning completo di Nano in LeRobot richiede almeno 4 GPU da 80 GB
- Su Jetson, Edge è molto più lento che su una GPU da data center: NVIDIA misura circa 6,3 s per passo della policy DROID su Jetson AGX Thor contro circa 1,4 s su una H100
- La generazione video del quick start richiede il modello ad accesso limitato Cosmos-1.0-Guardrail, che è sotto la NVIDIA Open Model License e non sotto OpenMDW-1.1
- NVIDIA segnala artefatti negli output lunghi, ad alta risoluzione o fisicamente complessi, come oggetti che cambiano forma e movimenti poco plausibili, e dice che gli usi critici per la sicurezza richiedono più validazione
- Classifiche dei benchmark, tassi di successo delle policy e dati di velocità sono misure proprie di NVIDIA e di LeRobot
- L'integrazione in LeRobot è nuova, uscita con LeRobot 0.7 il 5 novembre 2026
- Sulle schede dei modelli è testato solo BF16; altre precisioni, a parte i checkpoint FP8 pubblicati, non sono supportate ufficialmente
- Cosmos3-DROID è la conversione di NVIDIA del dataset DROID, raccolto da 13 istituzioni e con condizioni proprie alla fonte