Tappe fondamentali della ricerca in robotica
Visualizzazione interattiva delle tappe fondamentali della ricerca in robotica, dalla clonazione del comportamento e dall'apprendimento per imitazione ai modelli visione-linguaggio-azione e ai foundation model.
Tappe
Epoche
- Apprendimento da dimostrazioni, 2022: I metodi fondamentali dell'apprendimento per imitazione, behavior cloning, action chunking e policy basate sulla diffusione, che hanno reso possibile il robot learning moderno. In pratica: i robot imparano i compiti guardando le persone che li svolgono, riducendo drasticamente la programmazione…
- Intelligenza robotica guidata dal linguaggio, 2022: Uso degli LLM come pianificatori, autori di codice e progettisti di ricompense per i robot, a differenza dei VLA che producono direttamente le azioni. In pratica: puoi dire a un robot cosa fare in parole semplici e l'IA individua i passaggi, scrive il codice o progetta l'addestramento.
- Modelli Vision-Language-Action e policy generaliste, 2023: VLA che vedono, comprendono il linguaggio e controllano direttamente i robot, evoluti da architetture per singoli compiti a policy generaliste che funzionano su diverse embodiment e ambienti. In pratica: un unico cervello di IA vede, comprende le istruzioni e controlla qualsiasi robot, dalla…
- Scalabilità di dati e hardware, 2023: Hardware aperto, dataset su larga scala e framework che rendono il robot learning accessibile e praticabile su larga scala. In pratica: chiunque può costruire un braccio robotico capace per meno di $25k e addestrarlo con dataset condivisi, senza bisogno di un laboratorio aziendale.
- Post-training con RL e messa in produzione, 2024: Colmare l'ultimo miglio: fine-tuning con RL e metodi con l'essere umano nel ciclo che portano il tasso di successo dei VLA da circa il 60% a un'affidabilità quasi perfetta. In pratica: è la differenza tra una demo di laboratorio e un prodotto; il post-training con RL è ciò che rende i robot…
- Modelli del mondo e pianificazione, 2022: Modelli generativi che immaginano i risultati prima di agire: pianificazione tramite simulazione. In pratica: i robot pensano prima di agire, simulando mentalmente i risultati per evitare errori, proprio come un giocatore di scacchi che pianifica le mosse in anticipo.
Tappe
- 2022: Code as Policies: Gli LLM scrivono codice eseguibile di policy robotiche a partire dal linguaggio naturale: controllori reattivi, ragionamento spaziale, nessun fine-tuning.
- 2022: RT-1: Robotics Transformer: Il primo transformer su larga scala per il controllo robotico nel mondo reale; ha assorbito 130k dimostrazioni su oltre 700 compiti.
- 2022: Behavior Transformers (BeT): Ha formulato l'RL offline come modellazione di sequenze, con discretizzazione k-means delle distribuzioni di azioni multimodali.
- 2022: VIMA: Ha affidato a un robot il suo compito come un unico prompt che mescola parole e immagini, con il benchmark VIMA-Bench per verificare fin dove questo generalizza.
- 2022: Gato: Un'unica rete con un unico insieme di pesi ha giocato ad Atari, ha scritto didascalie per immagini, ha conversato e ha impilato blocchi con un vero braccio robotico.
- 2022: DayDreamer: Ha appreso comportamenti robotici interamente tramite l'immaginazione: policy addestrate in un modello del mondo appreso, poi impiegate zero-shot su hardware reale.
- 2022: SayCan: Ha combinato gli LLM con affordance apprese: l'LLM pianifica, le funzioni di valore lo ancorano a ciò che il robot può effettivamente fare.
- 2023: Eureka: GPT-4 scrive e migliora iterativamente le funzioni di ricompensa per l'RL, superando gli esperti umani nell'83% di 29 compiti su 10 morfologie di robot.
- 2023: RT-2: Vision-Language-Action: Ha inaugurato il paradigma VLA: un VLM adattato con fine-tuning per produrre direttamente le azioni del robot come token di testo.
- 2023: ALOHA (ACT): Hardware economico ($20k) per la teleoperazione bimanuale + Action Chunking with Transformers (ACT).
- 2023: Diffusion Policy: Ha applicato la diffusione con rimozione del rumore all'apprendimento di policy visuomotorie; è diventata l'architettura di riferimento per la manipolazione.
- 2023: UniPi: Ha aperto la strada all'uso della generazione video come policy robotica: genera un video del "futuro desiderato" a partire dal testo, poi ne estrae le azioni tramite dinamica inversa. Ha fondato l'intero paradigma di ricerca "video-to-action".
- 2023: PaLM-E: Ha fornito immagini e stato del robot direttamente a un grande modello linguistico, così che un unico modello da 562 miliardi di parametri potesse vedere, ragionare e pianificare compiti robotici.
- 2024: RDT-1B: Un Transformer di diffusione da 1,2 miliardi di parametri per robot a due bracci, preaddestrato sulla più grande raccolta di dati multi-robot del suo tempo.
- 2024: OpenVLA: VLA open source da 7B addestrato su 970k episodi; migliore del 16,5% rispetto a RT-2-X pur essendo 7 volte più piccolo.
- 2024: CogACT: Unisce cognizione e azione: moduli separati di ragionamento e motori in un unico modello VLA.
- 2024: Open X-Embodiment & RT-X: Il più grande dataset di robotica cross-embodiment (oltre 1M di episodi, 22 robot), che rende possibili le policy generaliste.
- 2024: Mobile ALOHA: Bracci bimanuali montati su una base mobile: teleoperazione di tutto il corpo per $32k.
- 2024: UMI: Raccogli dimostrazioni di manipolazione ovunque con una GoPro + una pinza: nessun robot necessario durante la raccolta dei dati.
- 2024: DROID Dataset: 76K dimostrazioni in 564 scene, 84 compiti, 13 istituzioni: il più grande e vario dataset di manipolazione in ambienti reali.
- 2024: LeRobot: Il framework PyTorch open source di Hugging Face per il robot learning: dataset standardizzati, policy allo stato dell'arte, oltre 12K stelle su GitHub.
- 2024: HIL-SERL: Ha affermato il post-training con RL come la strada dalla qualità da demo alla qualità da messa in produzione: successo quasi perfetto tramite RL con l'essere umano nel ciclo in appena 1-2.5 ore. Pubblicato su Science Robotics.
- 2024: Octo: La prima policy robotica generalista ampiamente adottata; addestrata su Open X-Embodiment, adattabile con fine-tuning in poche ore.
- 2024: π₀ (pi-zero): VLA con flow matching: la prima singola policy che esegue oltre 7 compiti di manipolazione fine su diverse embodiment.
- 2025: SmolVLA: VLA efficiente da 250M che eguaglia modelli più grandi: gira su GPU consumer e si addestra in poche ore.
- 2025: RL-100: L'apprendimento per rinforzo nel mondo reale ha portato le policy a diffusione al 100% di successo su otto compiti con robot reali, 1.000 episodi su 1.000.
- 2025: Instant Policy: Apprendimento per imitazione in-context tramite diffusione su grafi: si adatta a nuovi compiti a partire da una sola dimostrazione.
- 2025: π₀.5: Il primo VLA con una vera generalizzazione open-world: esegue compiti a lungo orizzonte in case completamente nuove, mai viste prima.
- 2025: GR00T N1: Il foundation model di NVIDIA per robot umanoidi: architettura a doppio sistema (veloce/lento).
- 2025: π₀-FAST: La tokenizzazione delle azioni basata su DCT permette ai VLA autoregressivi di eguagliare π₀, basato sulla diffusione, con un costo di addestramento 5 volte inferiore.
- 2025: π-RL: Ha reso i VLA basati sul flow matching addestrabili con apprendimento per rinforzo online: in simulazione, π₀.₅ con poche dimostrazioni è salito dal 77,1% al 98,3% su LIBERO.
- 2026: DreamZero: Un World Action Model basato sulla diffusione video che predice insieme i fotogrammi e le azioni futuri: generalizzazione oltre 2x superiore ai VLA, trasferimento cross-embodiment con dati minimi.
- 2026: RL Token: Avvia l'RL online su un VLA preaddestrato tramite un unico e compatto "RL token" + una piccola testa actor-critic: adatta con fine-tuning policy su robot reali in tempi da minuti a ore, con guadagni di velocità fino a 3×; a volte più veloce della teleoperazione umana.