pi0: A Vision-Language-Action Flow Model for General Robot Control
作者: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Xiaoyang Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky · RSS 2025
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
它以通用機器人策略(機器人基礎模型)為目標,處理複雜、需要高度靈巧的任務,並以摺衣服、清理桌面、組裝紙箱等任務進行評估。
提出的方法
一種建構在預先訓練之視覺語言模型上的流匹配架構,以多個靈巧機器人平台的資料訓練,並在預訓練後進行零樣本評估,評估項目包括遵循人類與更高層視覺語言策略所下的語言指令,以及透過微調學習新技能。
摘要
機器人學習極有希望釋放靈活、通用且靈巧的機器人系統的全部潛力,並回答人工智慧中一些最深刻的問題。然而,要讓機器人學習達到有效的真實世界系統所需的通用程度,在資料、泛化與穩健性方面都面臨重大障礙。在本文中,我們探討通用機器人策略(即機器人基礎模型)如何因應這些挑戰,以及我們如何為複雜且高度靈巧的任務設計有效的通用機器人策略。我們提出一種建立在預訓練視覺語言模型(VLM)之上的新穎流匹配架構,以繼承網際網路規模的語意知識。接著我們討論如何以來自多種靈巧機器人平台(包括單臂機器人、雙臂機器人與移動操作機器人)的大型多樣資料集訓練這個模型。我們從三方面評估模型:預訓練後以零樣本方式執行任務的能力、遵循來自人類以及來自高階 VLM 策略之語言指令的能力,以及透過微調習得新技能的能力。我們的結果涵蓋各式各樣的任務,例如摺衣服、清理桌面與組裝紙箱。
連結
- arXiv 2410.24164: https://arxiv.org/abs/2410.24164
- PDF: https://arxiv.org/pdf/2410.24164.pdf
- 程式碼: https://github.com/Physical-Intelligence/openpi
- 專案頁面: https://www.physicalintelligence.company/blog/pi0