World Model

Categoria: Learning & autonomy › Foundation models
Tag: prediction, planning

Modello interno che permette ai robot di prevedere come le azioni influenzano l'ambiente.

Definizione

I modelli del mondo sono rappresentazioni interne che permettono ai robot di prevedere come le loro azioni influiscono sull'ambiente. Consentono pianificazione, immaginazione e ragionamento controfattuale senza interazione fisica.

Perché è importante

Un modello del mondo è un simulatore interno appreso: un modello che predice cosa succederà dopo, dati lo stato attuale e un'azione proposta. Conta perché permette a un agente di pianificare immaginando i risultati invece di sperimentarli, che è la differenza tra imparare da milioni di tentativi fisici e imparare da molti meno. Per la robotica questa efficienza nei campioni non è un dettaglio: i robot reali si usurano, e ogni prova reale costa tempo e comporta rischi.

Applicazioni principali

Apprendimento per rinforzo basato su modello con molte meno prove reali
Pianificazione tramite rollout immaginati anziché prove fisiche
Anticipare le conseguenze di un'azione prima di impegnarvisi
Apprendere da video privi di etichette di azione
Colmare con dati immaginati le lacune tra esperienze reali sparse
Rilevamento di anomalie, confrontando la predizione con l'osservazione

In pratica

L'approccio consiste nell'apprendere una rappresentazione latente compatta delle osservazioni e un modello dinamico su di essa, per poi pianificare o addestrare una policy all'interno di quello spazio appreso. La ricerca recente sulla generazione video ha spinto la stessa idea verso la predizione diretta dei fotogrammi futuri, ed è per questo che il confine tra modelli del mondo e modelli video si è fatto sfumato. La debolezza caratteristica è l'accumulo dell'errore di predizione: se si fa avanzare abbastanza a lungo un modello appreso, deriva verso stati che sembrano plausibili e sono fisicamente sbagliati, quindi gli orizzonti di pianificazione restano brevi.

Idee sbagliate comuni

Un modello del mondo è un motore fisico: è appreso dai dati ed è approssimato, non derivato dalle equazioni del moto
Predizioni più lunghe sono migliori: l'errore si accumula, quindi i rollout immaginati lunghi diventano sicuri di sé e non fisici
Sostituisce i dati reali: viene addestrato su dati reali e ne eredita la copertura e i bias
Modelli del mondo e generatori di video sono la stessa cosa: un modello del mondo deve essere condizionato sulle azioni per essere utile al controllo

Chi dovrebbe saperlo

Ricercatori nell'apprendimento per rinforzo basato su modello
Ingegneri che bilanciano efficienza nei campioni e complessità del modello
Chiunque segua la convergenza tra generazione video e apprendimento robotico
Studenti che studiano la distinzione tra approcci basati su modello e model-free
Chiunque valuti affermazioni secondo cui un robot può «immaginare» i risultati

Tecnologie correlate

Controllo predittivo basato su modello (MPC)
Apprendimento per rinforzo basato su modello (DreamerV3, MBPO)
Simulatori fisici neurali
Modelli di predizione video (Sora, Genie)
Gemelli digitali (digital twin)
Stima dello stato e filtraggio di Kalman
Modelli dinamici a processi gaussiani
Trasferimento sim-to-real

Termini correlati

Video

What are World Models?: AI Research