Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Tappe fondamentali della ricerca in robotica

Visualizzazione interattiva delle tappe fondamentali della ricerca in robotica, dalla clonazione del comportamento e dall'apprendimento per imitazione ai modelli visione-linguaggio-azione e ai foundation model.

Tappe

Epoche

  • Apprendimento da dimostrazioni, 2022: I metodi fondamentali dell'apprendimento per imitazione, behavior cloning, action chunking e policy basate sulla diffusione, che hanno reso possibile il robot learning moderno. In pratica: i robot imparano i compiti guardando le persone che li svolgono, riducendo drasticamente la programmazione…
  • Intelligenza robotica guidata dal linguaggio, 2022: Uso degli LLM come pianificatori, autori di codice e progettisti di ricompense per i robot, a differenza dei VLA che producono direttamente le azioni. In pratica: puoi dire a un robot cosa fare in parole semplici e l'IA individua i passaggi, scrive il codice o progetta l'addestramento.
  • Modelli Vision-Language-Action e policy generaliste, 2023: VLA che vedono, comprendono il linguaggio e controllano direttamente i robot, evoluti da architetture per singoli compiti a policy generaliste che funzionano su diverse embodiment e ambienti. In pratica: un unico cervello di IA vede, comprende le istruzioni e controlla qualsiasi robot, dalla…
  • Scalabilità di dati e hardware, 2023: Hardware aperto, dataset su larga scala e framework che rendono il robot learning accessibile e praticabile su larga scala. In pratica: chiunque può costruire un braccio robotico capace per meno di $25k e addestrarlo con dataset condivisi, senza bisogno di un laboratorio aziendale.
  • Post-training con RL e messa in produzione, 2024: Colmare l'ultimo miglio: fine-tuning con RL e metodi con l'essere umano nel ciclo che portano il tasso di successo dei VLA da circa il 60% a un'affidabilità quasi perfetta. In pratica: è la differenza tra una demo di laboratorio e un prodotto; il post-training con RL è ciò che rende i robot…
  • Modelli del mondo e pianificazione, 2022: Modelli generativi che immaginano i risultati prima di agire: pianificazione tramite simulazione. In pratica: i robot pensano prima di agire, simulando mentalmente i risultati per evitare errori, proprio come un giocatore di scacchi che pianifica le mosse in anticipo.

Tappe

  • 2022: Code as Policies: Gli LLM scrivono codice eseguibile di policy robotiche a partire dal linguaggio naturale: controllori reattivi, ragionamento spaziale, nessun fine-tuning.
  • 2022: RT-1: Robotics Transformer: Il primo transformer su larga scala per il controllo robotico nel mondo reale; ha assorbito 130k dimostrazioni su oltre 700 compiti.
  • 2022: Behavior Transformers (BeT): Ha formulato l'RL offline come modellazione di sequenze, con discretizzazione k-means delle distribuzioni di azioni multimodali.
  • 2022: VIMA: Ha affidato a un robot il suo compito come un unico prompt che mescola parole e immagini, con il benchmark VIMA-Bench per verificare fin dove questo generalizza.
  • 2022: Gato: Un'unica rete con un unico insieme di pesi ha giocato ad Atari, ha scritto didascalie per immagini, ha conversato e ha impilato blocchi con un vero braccio robotico.
  • 2022: DayDreamer: Ha appreso comportamenti robotici interamente tramite l'immaginazione: policy addestrate in un modello del mondo appreso, poi impiegate zero-shot su hardware reale.
  • 2022: SayCan: Ha combinato gli LLM con affordance apprese: l'LLM pianifica, le funzioni di valore lo ancorano a ciò che il robot può effettivamente fare.
  • 2023: Eureka: GPT-4 scrive e migliora iterativamente le funzioni di ricompensa per l'RL, superando gli esperti umani nell'83% di 29 compiti su 10 morfologie di robot.
  • 2023: RT-2: Vision-Language-Action: Ha inaugurato il paradigma VLA: un VLM adattato con fine-tuning per produrre direttamente le azioni del robot come token di testo.
  • 2023: ALOHA (ACT): Hardware economico ($20k) per la teleoperazione bimanuale + Action Chunking with Transformers (ACT).
  • 2023: Diffusion Policy: Ha applicato la diffusione con rimozione del rumore all'apprendimento di policy visuomotorie; è diventata l'architettura di riferimento per la manipolazione.
  • 2023: UniPi: Ha aperto la strada all'uso della generazione video come policy robotica: genera un video del "futuro desiderato" a partire dal testo, poi ne estrae le azioni tramite dinamica inversa. Ha fondato l'intero paradigma di ricerca "video-to-action".
  • 2023: PaLM-E: Ha fornito immagini e stato del robot direttamente a un grande modello linguistico, così che un unico modello da 562 miliardi di parametri potesse vedere, ragionare e pianificare compiti robotici.
  • 2024: RDT-1B: Un Transformer di diffusione da 1,2 miliardi di parametri per robot a due bracci, preaddestrato sulla più grande raccolta di dati multi-robot del suo tempo.
  • 2024: OpenVLA: VLA open source da 7B addestrato su 970k episodi; migliore del 16,5% rispetto a RT-2-X pur essendo 7 volte più piccolo.
  • 2024: CogACT: Unisce cognizione e azione: moduli separati di ragionamento e motori in un unico modello VLA.
  • 2024: Open X-Embodiment & RT-X: Il più grande dataset di robotica cross-embodiment (oltre 1M di episodi, 22 robot), che rende possibili le policy generaliste.
  • 2024: Mobile ALOHA: Bracci bimanuali montati su una base mobile: teleoperazione di tutto il corpo per $32k.
  • 2024: UMI: Raccogli dimostrazioni di manipolazione ovunque con una GoPro + una pinza: nessun robot necessario durante la raccolta dei dati.
  • 2024: DROID Dataset: 76K dimostrazioni in 564 scene, 84 compiti, 13 istituzioni: il più grande e vario dataset di manipolazione in ambienti reali.
  • 2024: LeRobot: Il framework PyTorch open source di Hugging Face per il robot learning: dataset standardizzati, policy allo stato dell'arte, oltre 12K stelle su GitHub.
  • 2024: HIL-SERL: Ha affermato il post-training con RL come la strada dalla qualità da demo alla qualità da messa in produzione: successo quasi perfetto tramite RL con l'essere umano nel ciclo in appena 1-2.5 ore. Pubblicato su Science Robotics.
  • 2024: Octo: La prima policy robotica generalista ampiamente adottata; addestrata su Open X-Embodiment, adattabile con fine-tuning in poche ore.
  • 2024: π₀ (pi-zero): VLA con flow matching: la prima singola policy che esegue oltre 7 compiti di manipolazione fine su diverse embodiment.
  • 2025: SmolVLA: VLA efficiente da 250M che eguaglia modelli più grandi: gira su GPU consumer e si addestra in poche ore.
  • 2025: RL-100: L'apprendimento per rinforzo nel mondo reale ha portato le policy a diffusione al 100% di successo su otto compiti con robot reali, 1.000 episodi su 1.000.
  • 2025: Instant Policy: Apprendimento per imitazione in-context tramite diffusione su grafi: si adatta a nuovi compiti a partire da una sola dimostrazione.
  • 2025: π₀.5: Il primo VLA con una vera generalizzazione open-world: esegue compiti a lungo orizzonte in case completamente nuove, mai viste prima.
  • 2025: GR00T N1: Il foundation model di NVIDIA per robot umanoidi: architettura a doppio sistema (veloce/lento).
  • 2025: π₀-FAST: La tokenizzazione delle azioni basata su DCT permette ai VLA autoregressivi di eguagliare π₀, basato sulla diffusione, con un costo di addestramento 5 volte inferiore.
  • 2025: π-RL: Ha reso i VLA basati sul flow matching addestrabili con apprendimento per rinforzo online: in simulazione, π₀.₅ con poche dimostrazioni è salito dal 77,1% al 98,3% su LIBERO.
  • 2026: DreamZero: Un World Action Model basato sulla diffusione video che predice insieme i fotogrammi e le azioni futuri: generalizzazione oltre 2x superiore ai VLA, trasferimento cross-embodiment con dati minimi.
  • 2026: RL Token: Avvia l'RL online su un VLA preaddestrato tramite un unico e compatto "RL token" + una piccola testa actor-critic: adatta con fine-tuning policy su robot reali in tempi da minuti a ore, con guadagni di velocità fino a 3×; a volte più veloce della teleoperazione umana.

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.