Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Cosmos Policy

Framework per il fine-tuning di modelli di previsione video in policy robotiche ad alte prestazioni

Licenza

Apache-2.0

Panoramica

Un framework per il fine-tuning di grandi modelli video preaddestrati (Cosmos-Predict2) in policy robotiche allo stato dell'arte. Cosmos Policy impara a generare direttamente azioni robotiche codificate come frame latenti all'interno del processo di diffusione video, sfruttando i prior preaddestrati del modello per catturare distribuzioni di azioni complesse. Può anche generare previsioni degli stati futuri e stime di valore, consentendo la pianificazione al momento del test per tassi di successo più alti. Ottiene il 98,5% sul benchmark LIBERO e il 67,1% su RoboCasa, superando le diffusion policy, i VLA e altri approcci basati sul video. Include pipeline di addestramento per la manipolazione bimanuale ALOHA, ambienti di simulazione e strumenti di valutazione completi.

Cosmos-Policy è un framework per convertire modelli di previsione video preaddestrati su larga scala, nello specifico Cosmos-Predict2, in policy di manipolazione robotica, codificando le azioni robotiche come frame latenti all'interno del processo di generazione per diffusione video. Questo approccio sfrutta l'ampia conoscenza visiva del mondo e la comprensione delle dinamiche temporali acquisite durante il preaddestramento del modello video su dati su scala internet, riutilizzando queste rappresentazioni per il controllo robotico invece di addestrare da zero le policy di manipolazione. Il framework mostra prestazioni elevate, con un tasso di successo del 98,5% sul benchmark LIBERO e del 67,1% su RoboCasa, il che suggerisce che i modelli di previsione video possono trasferire efficacemente le rappresentazioni apprese ai compiti di manipolazione robotica. Questo paradigma del video come policy rappresenta una direzione promettente per sfruttare i modelli di visione di uso generale nelle applicazioni robotiche.

Perché è importante

Cosmos Policy introduce un approccio nuovo: il fine-tuning di grandi modelli video preaddestrati in policy robotiche. Codificando le azioni come frame latenti nello spazio video, sfrutta la comprensione fisica già appresa dai foundation model video e ottiene prestazioni allo stato dell'arte.

Il problema che risolve

Addestrare da zero le policy robotiche richiede enormi quantità di dati robotici. Cosmos Policy mostra che i modelli video preaddestrati comprendono già le interazioni fisiche e possono essere adattati in modo efficiente con il fine-tuning al controllo dei robot, con molti meno dati specifici del robot.

Punti chiave

  • Esegue il fine-tuning del modello video NVIDIA Cosmos-Predict2 in policy robotiche
  • Codifica le azioni robotiche come frame video latenti, una rappresentazione nuova
  • Sfrutta la comprensione fisica derivata dal preaddestramento video
  • Ottiene prestazioni di manipolazione allo stato dell'arte
  • Dimostra che i modelli video possono essere riutilizzati per il controllo dei robot

A chi si rivolge

  • Ricercatori che esplorano i modelli video per il controllo dei robot
  • Team che sviluppano policy robotiche basate su modelli del mondo
  • Sviluppatori dell'ecosistema NVIDIA che realizzano Physical AI
  • Aziende che esplorano i foundation model per la manipolazione

Limiti

  • Richiede l'accesso ai grandi modelli preaddestrati NVIDIA Cosmos
  • Requisiti GPU significativi per il fine-tuning e l'inferenza
  • Approccio nuovo, con strumenti della comunità finora limitati
  • La codifica delle azioni come video potrebbe non adattarsi a tutti i compiti di manipolazione

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.