Foundation Model

• Detto anche: FM
• Categoria: Learning & autonomy › Foundation models
• Tag: large-models, generalization

Grandi modelli di IA addestrati su dati ampi, adattabili a molti compiti a valle.

Definizione

I foundation model sono grandi reti neurali addestrate su dati ampi e su larga scala, pensate per essere adattate a molti compiti a valle. In robotica, esempi come RT-2, OpenVLA e Octo sanno generalizzare tra compiti e ambienti diversi.

Perché è importante

Un foundation model è un grande modello preaddestrato su dati ampi e adattato a molti compiti a valle, invece di essere costruito per uno solo. In robotica questa idea ha cambiato il modo in cui si ottengono le capacità: invece di addestrare da zero una policy per ogni compito, si eredita una competenza visiva e linguistica generale dal preaddestramento su scala web e la si adatta con relativamente pochi dati robotici. Questa eredità è il motivo per cui una moderna policy robotica può agire in modo sensato su un oggetto che non ha mai incontrato durante l'addestramento robotico.

Applicazioni principali

• Policy di manipolazione generaliste che coprono molti compiti
• Percezione a vocabolario aperto senza un elenco fisso di classi
• Controllo condizionato dal linguaggio a partire da istruzioni comuni
• Trasferimento cross-embodiment tra corpi robotici diversi
• Adattamento few-shot a un nuovo compito a partire da poche dimostrazioni
• Simulazione e generazione di dati, sintetizzando scenari di addestramento

In pratica

I foundation model per robot si presentano in due forme. I modelli Vision-Language (VLM) forniscono percezione e grounding, mentre i modelli Vision-Language-Action (VLA) come OpenVLA e la famiglia π0 estendono la stessa idea alla produzione di azioni. Il vincolo decisivo sono i dati: testi e immagini esistono in quantità enormi, le traiettorie dei robot no, ed è per questo che dataset aggregati come Open X-Embodiment contano così tanto e che l'addestramento cross-embodiment, cioè l'apprendimento da molti robot di forma diversa contemporaneamente, è diventato una direzione di ricerca centrale.

Idee sbagliate comuni

• I foundation model eliminano la necessità di dati robotici: le traiettorie dei robot restano l'ingrediente scarso e il fattore limitante
• Più grande trasferisce sempre meglio: la latenza di inferenza vincola la frequenza di controllo, e un modello più piccolo può controllare meglio
• Un solo modello gestirà ogni robot: il trasferimento cross-embodiment funziona in parte, non universalmente
• La competenza generale implica la competenza fisica: la conoscenza del web non dà la comprensione di massa, attrito o contatto

Chi dovrebbe saperlo

• Chiunque segua da dove provengono le capacità dei robot
• Ingegneri che scelgono tra policy su misura e l'adattamento di un modello generale
• Ricercatori che scelgono un modello di base su cui fare fine-tuning
• Acquirenti che valutano le affermazioni dei fornitori sui robot generici
• Studenti che si avvicinano all'apprendimento robotico

Tecnologie correlate

• Modello Vision-Language (VLM)
• Modello linguistico di grandi dimensioni (LLM)
• Apprendimento per imitazione
• Apprendimento per rinforzo dal feedback umano (RLHF)
• Architettura Transformer
• RT-2 (Robotic Transformer)
• Diffusion policy
• CLIP (Contrastive Language-Image Pre-training)

Termini correlati

• VLA
• VLM

Video

• Machine Learning vs. Deep Learning vs. Foundation Models: IBM Technology