Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

pi0: A Vision-Language-Action Flow Model for General Robot Control

Autori: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Xiaoyang Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky · RSS 2025

RSS 2025

Licenze

  • Open access
  • Articolo: arXiv.org perpetual, non-exclusive license 1.0

In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.

Perché è importante

Punta a policy robotiche generaliste (foundation model per la robotica) per compiti complessi e di grande destrezza, valutate su compiti come piegare il bucato, pulire un tavolo e assemblare scatole.

Soluzione proposta

Un'architettura di flow matching costruita su un modello Vision-Language preaddestrato, addestrata su dati di più piattaforme robotiche dotate di destrezza e valutata zero-shot dopo il preaddestramento, nel seguire istruzioni in linguaggio naturale date da persone e da una policy Vision-Language di livello superiore, e nell'apprendere nuove abilità tramite fine-tuning.

Abstract

L'apprendimento robotico promette moltissimo per sbloccare il pieno potenziale di sistemi robotici flessibili, generali e ad alta destrezza, oltre che per affrontare alcune delle questioni più profonde dell'intelligenza artificiale. Tuttavia, portare l'apprendimento robotico al livello di generalità richiesto da sistemi reali efficaci incontra grandi ostacoli in termini di dati, generalizzazione e robustezza. In questo articolo discutiamo come le policy robotiche generaliste (cioè i foundation model robotici) possano affrontare queste sfide e come si possano progettare policy robotiche generaliste efficaci per compiti complessi e ad altissima destrezza. Proponiamo una nuova architettura di flow matching costruita sopra un modello visione-linguaggio (VLM) preaddestrato, per ereditarne la conoscenza semantica su scala Internet. Discutiamo poi come questo modello possa essere addestrato su un dataset ampio e diversificato proveniente da più piattaforme robotiche ad alta destrezza, tra cui robot a braccio singolo, robot a due bracci e manipolatori mobili. Valutiamo il nostro modello in base alla sua capacità di svolgere compiti zero-shot dopo il preaddestramento, di seguire istruzioni linguistiche date da persone e da una policy VLM di alto livello, e di acquisire nuove abilità tramite fine-tuning. I nostri risultati coprono un'ampia varietà di compiti, come piegare il bucato, pulire un tavolo e assemblare scatole.

Link

  • arXiv 2410.24164: https://arxiv.org/abs/2410.24164
  • PDF: https://arxiv.org/pdf/2410.24164.pdf
  • Codice: https://github.com/Physical-Intelligence/openpi
  • Pagina del progetto: https://www.physicalintelligence.company/blog/pi0

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.