Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Learning Universal Policies via Text-Guided Video Generation

Autori: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, Pieter Abbeel · NeurIPS 2023

NeurIPS 2023

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Primo articolo a usare modelli di diffusione video come policy robotiche: genera i video futuri desiderati a partire da obiettivi testuali, poi estrae le azioni tramite la dinamica inversa.

Perché è importante

UniPi ha aperto la strada al paradigma che usa i modelli di generazione video come policy robotiche, un'idea da cui è nata un'intera direzione di ricerca. Ogni metodo "video-to-action" successivo (TesserAct, Gen2Act, DreamZero, DVA) fa risalire la propria origine a questo articolo.

Problema

Le policy robotiche tradizionali mappano le osservazioni direttamente in azioni e richiedono policy separate per ambienti diversi. Nessun lavoro precedente aveva usato la generazione di video come rappresentazione centrale della policy per il controllo dei robot.

Soluzione proposta

Genera una traiettoria video del "futuro desiderato" con un modello di diffusione video condizionato dal testo, poi estrae le azioni di controllo tramite un modello di dinamica inversa appreso. Il modello video pianifica nello spazio dei pixel, mentre il modello di dinamica inversa si occupa della traduzione in azioni specifica dell'ambiente.

Idee chiave

  • I modelli di generazione video possono fungere da policy robotiche universali: è il primo lavoro a dimostrare questo paradigma
  • Il condizionamento testuale consente una generalizzazione combinatoria a nuovi obiettivi senza riaddestramento
  • La dinamica inversa disaccoppia la predizione video dall'estrazione delle azioni, lasciando ai modelli video ciò che sanno fare meglio
  • Una singola interfaccia di policy funziona in ambienti con spazi degli stati e delle azioni diversi

Risultati principali

  • Generalizzazione combinatoria a nuovi obiettivi testuali non visti durante l'addestramento
  • Rappresentazione unificata della policy tra ambienti con spazi delle azioni diversi
  • Supera le baseline di behavior cloning condizionato dal linguaggio e di pianificazione
  • Completamento di compiti a lungo orizzonte in più passi a partire da istruzioni testuali

Limiti

  • La generazione di video al momento dell'inferenza è costosa dal punto di vista computazionale e limita il controllo in tempo reale
  • Il modello di dinamica inversa introduce un collo di bottiglia e un possibile accumulo di errori
  • Dimostrato principalmente in ambienti simulati, non su robot reali
  • La qualità video peggiora su orizzonti lunghi, il che limita la profondità di pianificazione

Impatto sul settore

Articolo fondativo per l'uso della generazione di video come policy robotica. La sua influenza si estende sia agli approcci "modello video come simulatore" sia a quelli "modello video come policy". DreamZero (2026) si basa direttamente sulla sua intuizione centrale.

Abstract

UniPi riformula il processo decisionale sequenziale come un problema di generazione di video condizionata dal testo. Data una descrizione testuale dell'obiettivo desiderato e una singola immagine dello stato attuale, un modello video basato sulla diffusione sintetizza una traiettoria futura plausibile. Un modello di dinamica inversa estrae poi le azioni di basso livello dai fotogrammi video generati. Questo disaccoppiamento consente una generalizzazione combinatoria a nuovi obiettivi descritti in linguaggio naturale e fornisce un'interfaccia di policy unificata tra ambienti diversi.

Link

  • arXiv 2302.00111: https://arxiv.org/abs/2302.00111
  • PDF: https://arxiv.org/pdf/2302.00111
  • Codice: https://github.com/flow-diffusion/AVDC
  • Pagina del progetto: https://universal-policy.github.io/unipi/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.