Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

pi0: A Vision-Language-Action Flow Model for General Robot Control

作者: Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Xiaoyang Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky · RSS 2025

RSS 2025

授權條款

  • 開放取用
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

依 arXiv 的授權條款,以下內容僅依據摘要撰寫。

為何重要

它以通用機器人策略(機器人基礎模型)為目標,處理複雜、需要高度靈巧的任務,並以摺衣服、清理桌面、組裝紙箱等任務進行評估。

提出的方法

一種建構在預先訓練之視覺語言模型上的流匹配架構,以多個靈巧機器人平台的資料訓練,並在預訓練後進行零樣本評估,評估項目包括遵循人類與更高層視覺語言策略所下的語言指令,以及透過微調學習新技能。

摘要

機器人學習極有希望釋放靈活、通用且靈巧的機器人系統的全部潛力,並回答人工智慧中一些最深刻的問題。然而,要讓機器人學習達到有效的真實世界系統所需的通用程度,在資料、泛化與穩健性方面都面臨重大障礙。在本文中,我們探討通用機器人策略(即機器人基礎模型)如何因應這些挑戰,以及我們如何為複雜且高度靈巧的任務設計有效的通用機器人策略。我們提出一種建立在預訓練視覺語言模型(VLM)之上的新穎流匹配架構,以繼承網際網路規模的語意知識。接著我們討論如何以來自多種靈巧機器人平台(包括單臂機器人、雙臂機器人與移動操作機器人)的大型多樣資料集訓練這個模型。我們從三方面評估模型:預訓練後以零樣本方式執行任務的能力、遵循來自人類以及來自高階 VLM 策略之語言指令的能力,以及透過微調習得新技能的能力。我們的結果涵蓋各式各樣的任務,例如摺衣服、清理桌面與組裝紙箱。

連結

  • arXiv 2410.24164: https://arxiv.org/abs/2410.24164
  • PDF: https://arxiv.org/pdf/2410.24164.pdf
  • 程式碼: https://github.com/Physical-Intelligence/openpi
  • 專案頁面: https://www.physicalintelligence.company/blog/pi0

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。