Cosmos Predict 2.5
World Foundation Model di NVIDIA per la Physical AI con simulazione del mondo basata su video
Licenza
Apache-2.0
Panoramica
NVIDIA Cosmos World Foundation Model per la Physical AI: simula e predice lo stato futuro del mondo sotto forma di video. Riunisce in un unico modello la generazione Text2World, Image2World e Video2World. È costruito su un'architettura basata su flow con un post-addestramento basato sull'apprendimento per rinforzo.
Cosmos-Predict2.5 è l'ultima generazione dei Cosmos World Foundation Models (WFM) di NVIDIA per la Physical AI. È specializzato nel simulare e predire lo stato futuro del mondo tramite la generazione di video.
Il modello è costruito su un'architettura basata su flow e riunisce tre capacità chiave in un unico modello: - Text2World: genera video a partire da descrizioni testuali - Image2World: genera la continuazione video a partire da una singola immagine - Video2World: predice i fotogrammi futuri a partire da un video in ingresso
Addestrato su 200 milioni di clip video selezionate e perfezionato con un post-addestramento basato sull'apprendimento per rinforzo, ottiene miglioramenti sostanziali rispetto alle versioni precedenti nella qualità dei video e nell'aderenza alle istruzioni.
Il modello è adottato da importanti aziende di robotica e di veicoli autonomi, tra cui Figure AI, Agility Robotics, Skild AI e Uber, per generare dati di addestramento sintetici e costruire modelli del mondo personalizzati.
Perché è importante
Cosmos Predict 2.5 è uno dei foundation model del mondo Cosmos di NVIDIA: può simulare e predire lo stato futuro di ambienti fisici sotto forma di video. Questa capacità è cruciale per la pianificazione dei robot, la simulazione della guida autonoma e la generazione di dati di addestramento sintetici su larga scala.
Il problema che risolve
I robot e i sistemi autonomi devono prevedere cosa accadrà nel mondo fisico. Cosmos Predict 2.5 fornisce un foundation model che genera scenari futuri plausibili, consentendo una pianificazione migliore e decisioni più sicure.
Punti chiave
- Riunisce la generazione Text2World, Image2World e Video2World
- Genera previsioni future fisicamente plausibili sotto forma di video
- Preaddestrato su enormi dataset video per la comprensione fisica
- Supporta applicazioni di guida autonoma, robotica e dati sintetici
- Fa parte della piattaforma Cosmos di NVIDIA per lo sviluppo della Physical AI
A chi si rivolge
- Ricercatori di Physical AI che costruiscono modelli del mondo
- Team di guida autonoma che generano scenari di simulazione
- Aziende di robotica che creano dati di addestramento sintetici
- Sviluppatori che esplorano la predizione video per la pianificazione
Limiti
- Modello molto grande che richiede notevoli risorse GPU
- Le previsioni generate sono plausibili ma non garantite fisicamente precise
- La qualità della generazione video dipende dalla copertura del dominio di addestramento
- L'uso commerciale può richiedere accordi di licenza con NVIDIA