Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Cosmos Predict 2.5

World Foundation Model di NVIDIA per la Physical AI con simulazione del mondo basata su video

Licenza

Apache-2.0

Panoramica

NVIDIA Cosmos World Foundation Model per la Physical AI: simula e predice lo stato futuro del mondo sotto forma di video. Riunisce in un unico modello la generazione Text2World, Image2World e Video2World. È costruito su un'architettura basata su flow con un post-addestramento basato sull'apprendimento per rinforzo.

Cosmos-Predict2.5 è l'ultima generazione dei Cosmos World Foundation Models (WFM) di NVIDIA per la Physical AI. È specializzato nel simulare e predire lo stato futuro del mondo tramite la generazione di video.

Il modello è costruito su un'architettura basata su flow e riunisce tre capacità chiave in un unico modello: - Text2World: genera video a partire da descrizioni testuali - Image2World: genera la continuazione video a partire da una singola immagine - Video2World: predice i fotogrammi futuri a partire da un video in ingresso

Addestrato su 200 milioni di clip video selezionate e perfezionato con un post-addestramento basato sull'apprendimento per rinforzo, ottiene miglioramenti sostanziali rispetto alle versioni precedenti nella qualità dei video e nell'aderenza alle istruzioni.

Il modello è adottato da importanti aziende di robotica e di veicoli autonomi, tra cui Figure AI, Agility Robotics, Skild AI e Uber, per generare dati di addestramento sintetici e costruire modelli del mondo personalizzati.

Perché è importante

Cosmos Predict 2.5 è uno dei foundation model del mondo Cosmos di NVIDIA: può simulare e predire lo stato futuro di ambienti fisici sotto forma di video. Questa capacità è cruciale per la pianificazione dei robot, la simulazione della guida autonoma e la generazione di dati di addestramento sintetici su larga scala.

Il problema che risolve

I robot e i sistemi autonomi devono prevedere cosa accadrà nel mondo fisico. Cosmos Predict 2.5 fornisce un foundation model che genera scenari futuri plausibili, consentendo una pianificazione migliore e decisioni più sicure.

Punti chiave

  • Riunisce la generazione Text2World, Image2World e Video2World
  • Genera previsioni future fisicamente plausibili sotto forma di video
  • Preaddestrato su enormi dataset video per la comprensione fisica
  • Supporta applicazioni di guida autonoma, robotica e dati sintetici
  • Fa parte della piattaforma Cosmos di NVIDIA per lo sviluppo della Physical AI

A chi si rivolge

  • Ricercatori di Physical AI che costruiscono modelli del mondo
  • Team di guida autonoma che generano scenari di simulazione
  • Aziende di robotica che creano dati di addestramento sintetici
  • Sviluppatori che esplorano la predizione video per la pianificazione

Limiti

  • Modello molto grande che richiede notevoli risorse GPU
  • Le previsioni generate sono plausibili ma non garantite fisicamente precise
  • La qualità della generazione video dipende dalla copertura del dominio di addestramento
  • L'uso commerciale può richiedere accordi di licenza con NVIDIA

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.