Transformer

• Detto anche: transformer architecture, self-attention network, attention mechanism
• Categoria: Learning & autonomy › Foundation models
• Tag: transformer, deep-learning, foundation-model

Architettura di rete neurale basata su meccanismi di self-attention, oggi la struttura portante dominante delle policy di apprendimento robotico e della percezione multimodale.

Definizione

Il Transformer è un'architettura di rete neurale basata su meccanismi di self-attention, diventata la struttura portante dominante dei moderni sistemi di apprendimento robotico. Introdotto nel 2017 per l'elaborazione del linguaggio naturale (l'articolo "Attention Is All You Need"), il Transformer ha poi rivoluzionato la visione artificiale, il ragionamento multimodale e, aspetto cruciale per la robotica, la generazione di azioni e il processo decisionale incarnato.

Il meccanismo centrale è la self-attention, che consente a ogni elemento di una sequenza di prestare attenzione a tutti gli altri elementi, ponderandone dinamicamente l'importanza. A differenza delle reti neurali ricorrenti, che elaborano le sequenze un passo alla volta, i Transformer elaborano intere sequenze in parallelo e possono cogliere in modo efficiente le dipendenze a lungo raggio. Questo parallelismo consente anche di scalare verso modelli molto grandi addestrati su enormi set di dati: il paradigma dei foundation model che ha trasformato l'IA.

In robotica i Transformer compaiono a ogni livello dello stack. I Vision Transformer (ViT) elaborano le immagini delle telecamere suddividendole in patch e applicando la self-attention, sostituendo le reti convoluzionali come encoder visivo predefinito. I Decision Transformer impostano il controllo come modellazione di sequenze, prevedendo l'azione successiva a partire da una cronologia di osservazioni, azioni e ricompense. I modelli Vision-Language-Action (VLA) usano strutture portanti Transformer per elaborare congiuntamente osservazioni visive e istruzioni in linguaggio naturale, producendo direttamente le azioni del robot.

L'applicazione robotica di maggiore impatto è stata rendere possibili policy robotiche generaliste. Trattando il controllo del robot come previsione di sequenze, in modo analogo alla previsione del token successivo nei modelli linguistici, i Transformer possono apprendere policy valide su più compiti, ambienti e persino incarnazioni robotiche diverse a partire da set di dati ampi e variegati. È l'architettura alla base di RT-2, Octo, pi0 e di altri foundation model per la robotica.

I Transformer alimentano anche le architetture di diffusion policy, in cui il Transformer funge da rete di denoising che affina iterativamente sequenze di azioni rumorose fino a ottenere comandi motori precisi. La combinazione di processi di diffusione e strutture portanti Transformer ha ottenuto risultati allo stato dell'arte nella manipolazione fine e nei compiti di coordinazione bimanuale.

Perché è importante

Il Transformer è l'innovazione architetturale che ha reso possibile l'apprendimento robotico generalista. Prima dei Transformer, le policy robotiche erano tipicamente reti neurali specifiche per un compito, addestrate da zero per ogni nuovo comportamento. I Transformer hanno permesso di applicare le leggi di scala alla robotica: addestrando modelli Transformer più grandi su dati robotici più variegati, le prestazioni migliorano in modo prevedibile su tutti i compiti. Per questo ogni grande foundation model per la robotica, da RT-2 di Google a pi0 di Physical Intelligence, usa una struttura portante Transformer. Comprendere l'architettura Transformer è ormai essenziale per chiunque lavori nell'apprendimento robotico, perché è alla base dei VLA, delle diffusion policy, dei modelli del mondo e dell'intero paradigma dei robot generalisti.

Applicazioni principali

• Modelli Vision-Language-Action (VLA): i Transformer elaborano congiuntamente immagini e istruzioni in linguaggio naturale e producono azioni per policy robotiche generaliste
• Diffusion policy: reti di denoising basate su Transformer che generano traiettorie di azione fluide e multimodali per la manipolazione
• Decision Transformer: approccio di modellazione di sequenze che tratta l'RL offline come previsione dell'azione successiva condizionata ai ritorni desiderati
• Percezione visiva: i Vision Transformer sostituiscono le CNN come struttura portante della percezione robotica, fornendo caratteristiche per la manipolazione e la navigazione a valle
• Modelli del mondo: i Transformer prevedono gli stati futuri dell'ambiente a partire dalle osservazioni attuali e dalle azioni pianificate, consentendo la pianificazione basata su modello
• Apprendimento cross-embodiment: i Transformer con spazi d'azione tokenizzati possono addestrare singole policy che funzionano su hardware robotico diverso

In pratica

Il sistema pi0 di Physical Intelligence mostra l'impatto dei Transformer sulla robotica. Costruito su un modello Vision-Language preaddestrato (PaLiGemma), pi0 aggiunge teste di uscita per le azioni ed esegue il fine-tuning su dati variegati di manipolazione robotica. La struttura portante Transformer elabora immagini delle telecamere e descrizioni dei compiti, alternate tra loro, attraverso livelli di self-attention, quindi genera sequenze di token di azione che vengono decodificate in comandi per i giunti del robot. Poiché il Transformer è stato preaddestrato su dati visivi e linguistici su scala web, comprende concetti come "piega la camicia" o "metti la mela nella ciotola" senza che quegli scenari esatti compaiano nei dati di addestramento del robot. La stessa architettura gestisce compiti a braccio singolo e bimanuali su piattaforme robotiche diverse, perché l'elaborazione flessibile delle sequenze del Transformer si adatta a dimensioni variabili di osservazioni e azioni.

Idee sbagliate comuni

• I Transformer servono solo per l'elaborazione del linguaggio: i Transformer sono diventati l'architettura dominante nella visione, nel ragionamento multimodale e nel controllo dei robot; la loro capacità di modellare sequenze si generalizza ben oltre il testo
• I Transformer richiedono set di dati enormi per funzionare: pur scalando bene con i dati, tecniche come il fine-tuning di modelli preaddestrati e l'aumento dei dati li rendono efficaci anche con poche centinaia di dimostrazioni robotiche
• I Transformer hanno sostituito tutte le altre architetture in robotica: CNN, MLP e reti di diffusione restano importanti; i Transformer vengono spesso combinati con queste anziché sostituirle del tutto
• Transformer più grandi danno sempre risultati migliori nel controllo dei robot: il controllo dei robot ha vincoli di tempo reale; la velocità di inferenza conta, e modelli distillati più piccoli spesso superano quelli più grandi in esercizio per via dei requisiti di latenza

Chi dovrebbe saperlo

• Ricercatori di apprendimento robotico che sviluppano nuove policy di manipolazione o navigazione
• Ingegneri IA che eseguono il fine-tuning di foundation model per applicazioni robotiche
• Studenti di robotica che studiano gli approcci moderni a percezione e controllo
• Ingegneri ML che ottimizzano l'inferenza dei Transformer per l'impiego dei robot in tempo reale
• Responsabili della ricerca che valutano le basi tecniche delle startup di IA per la robotica

Tecnologie correlate

• Vision Transformer (ViT)
• Decision Transformer
• RT-2
• Octo
• Diffusion policy
• Architettura GPT
• BERT
• Cross-attention

Progetti correlati

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• GEAR-SONIC: NVIDIA's whole-body controller for the Unitree G1, trained to track any human motion

Video

• Transformers, the tech behind LLMs | Deep Learning Chapter 5: 3Blue1Brown
• Transformers, explained: Understand the model behind GPT, BERT, and T5: Google Cloud Tech

Wikipedia

• Trasformatore (informatica)