Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

π0.5: a Vision-Language-Action Model with Open-World Generalization

Autori: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Manuel Y. Galliker, Dibya Ghosh, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, James Tanner, Quan Vuong, Homer Walke, Anna Walling, Haohuan Wang, Lili Yu, Ury Zhilinsky · CoRL 2025

CoRL 2025

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

π0.5 è un VLA che ottiene una generalizzazione in mondo aperto tramite il co-addestramento su dati eterogenei (più robot, web, predizioni semantiche), consentendo compiti di manipolazione fine a lungo orizzonte come pulire cucine in case completamente nuove e mai viste prima.

Perché è importante

π0.5 è un progresso significativo verso robot generici che funzionano fuori dal laboratorio. Dimostrando una vera generalizzazione in mondo aperto, cioè lo svolgimento di faccende complesse in case completamente nuove, convalida l'approccio dei foundation model VLA per l'impiego nel mondo reale. Il co-addestramento multimodale ibrido fornisce uno schema per costruire policy robotiche dalle ampie capacità.

Problema

Anche se i modelli VLA mostrano ottimi risultati in laboratorio, non è chiaro se sappiano generalizzare al mondo aperto, gestendo oggetti, ambienti e compiti a lungo orizzonte nuovi al di fuori di contesti controllati senza fine-tuning specifico per il compito.

Soluzione proposta

π0.5 ottiene la generalizzazione open-world tramite un co-addestramento eterogeneo che combina dati di manipolazione di più robot, dati visione-linguaggio su scala web e compiti di previsione semantica. Un'architettura VLA gerarchica, con un pianificatore linguistico di alto livello e una policy di azione di basso livello, permette compiti di manipolazione fine a lungo orizzonte.

Idee chiave

  • Il co-addestramento su dati eterogenei (più robot, web, predizioni semantiche) è essenziale per un'ampia generalizzazione
  • Esempi multimodali ibridi che combinano immagini, linguaggio, rilevamenti di oggetti e azioni consentono un ricco trasferimento di conoscenza
  • Primo sistema appreso end-to-end che svolge manipolazione a lungo orizzonte in case completamente nuove
  • Si basa sull'architettura π₀ con predizione semantica dei sotto-compiti e knowledge insulation
  • Reso open source tramite il framework openpi (oltre 4,8K stelle su GitHub)

Risultati principali

  • Completa compiti domestici complessi in più passaggi (pulire cucine, riordinare scaffali) in case reali mai viste
  • Ottiene una generalizzazione zero-shot a oggetti e ambienti nuovi non visti durante l'addestramento
  • Gestisce compiti a lungo orizzonte che richiedono oltre 10 passaggi di manipolazione in sequenza
  • Dimostra una manipolazione fine che comprende la piegatura di tessuti e posizionamenti precisi
  • Supera con margini significativi i VLA precedenti sui benchmark di valutazione open-world

Limiti

  • Richiede un'enorme capacità di calcolo per il co-addestramento su fonti di dati eterogenee e multimodali
  • Il tasso di successo dei compiti a lungo orizzonte peggiora all'aumentare del numero di passaggi in sequenza
  • La generalizzazione a morfologie di robot molto diverse resta limitata
  • Il recupero da fallimenti a metà compito è incostante rispetto ai riferimenti con script

Impatto sul settore

pi0.5 è il primo VLA a dimostrare una vera generalizzazione open-world, eseguendo compiti nuovi in case mai viste senza fine-tuning specifico per il compito. Grazie al co-addestramento su dati eterogenei di più robot e su dati di linguaggio/visione su scala web, ha mostrato che la strada di scalabilità dei foundation model per robot segue la stessa traiettoria degli LLM: dati più vari producono una generalizzazione emergente.

Abstract

Per essere utili, i robot devono svolgere compiti rilevanti nella pratica nel mondo reale, fuori dal laboratorio. Sebbene i modelli Vision-Language-Action (VLA) abbiano mostrato risultati impressionanti per il controllo robotico end-to-end, resta una questione aperta fino a che punto questi modelli possano generalizzare sul campo. Presentiamo π0.5, un VLA che usa il co-addestramento su compiti eterogenei per ottenere un'ampia generalizzazione. Il nostro modello sfrutta dati provenienti da più robot, predizione semantica di alto livello, dati web e altre fonti tramite il co-addestramento con esempi multimodali ibridi che combinano osservazioni da immagini, comandi linguistici, rilevamenti di oggetti, predizione semantica dei sotto-compiti e azioni di basso livello. Troviamo che questo trasferimento di conoscenza è essenziale per una generalizzazione efficace, e dimostriamo che un sistema robotico basato sull'apprendimento end-to-end può svolgere abilità di manipolazione a lungo orizzonte e ad alta destrezza, come pulire una cucina o una camera da letto, in case completamente nuove.

Link

  • arXiv 2504.16054: https://arxiv.org/abs/2504.16054
  • PDF: https://arxiv.org/pdf/2504.16054
  • Codice: https://github.com/Physical-Intelligence/openpi
  • Pagina del progetto: https://www.physicalintelligence.company/blog/pi05

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.