Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

π0.5: a Vision-Language-Action Model with Open-World Generalization

作者: Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Manuel Y. Galliker, Dibya Ghosh, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, James Tanner, Quan Vuong, Homer Walke, Anna Walling, Haohuan Wang, Lili Yu, Ury Zhilinsky · CoRL 2025

CoRL 2025

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

π0.5 是一個透過在異質資料(多機器人、網路、語意預測)上共同訓練而達成開放世界泛化的 VLA,能在全新、從未見過的住家中執行清潔廚房等長時域靈巧任務。

為何重要

π0.5 是朝向能在實驗室外運作的通用機器人邁出的重要一步。它展現了真正的開放世界泛化,在全新的住家中完成複雜的家務,驗證了 VLA 基礎模型方法能用於真實世界部署。混合多模態共同訓練為打造具廣泛能力的機器人策略提供了藍圖。

問題

雖然 VLA 模型在實驗室中成果亮眼,但它們能否泛化到開放世界——在受控環境之外處理新物體、新環境與長時程任務,且無需針對任務微調——仍不明朗。

提出的方法

π0.5 透過異質共同訓練達成開放世界泛化:結合多機器人操作資料、網路規模的視覺語言資料與語意預測任務。採用階層式 VLA 架構,由高階語言規劃器與低階動作策略組成,使長時程的靈巧任務成為可能。

關鍵見解

  • 在異質資料(多機器人、網路、語意預測)上共同訓練,對廣泛的泛化至關重要
  • 結合影像、語言、物件偵測與動作的混合多模態範例,能實現豐富的知識轉移
  • 第一個在全新住家中執行長時域操作的端對端學習系統
  • 以 π₀ 架構為基礎,加入語意子任務預測與知識隔離
  • 透過 openpi 框架開源(4.8K+ GitHub 星標)

主要結果

  • 在未見過的真實住家中完成複雜的多步驟家務(清理廚房、整理架子)
  • 對訓練期間未見過的新物體與新環境達成零樣本泛化
  • 能處理需要 10 個以上連續操作步驟的長時程任務
  • 展示了包括摺衣服與精確放置在內的靈巧操作
  • 在開放世界評估基準測試上大幅超越先前的 VLA

限制

  • 在異質多模態資料來源上共同訓練需要龐大的運算資源
  • 長時程任務的成功率會隨著連續步驟數增加而下降
  • 泛化到差異極大的機器人形態的能力仍然有限
  • 與腳本化的基準方法相比,從任務中途失敗中恢復的表現不穩定

對領域的影響

pi0.5 是第一個展現真正開放世界泛化的 VLA——在未見過的住家中執行新任務,且無需針對任務微調。透過在異質多機器人資料加上網路規模語言/視覺資料上共同訓練,它顯示機器人基礎模型的規模化路徑與 LLM 相同:更多樣的資料會帶來湧現的泛化能力。

摘要

機器人要有用,就必須在實驗室之外的真實世界中執行具實際意義的任務。雖然視覺-語言-動作(VLA)模型在端對端機器人控制上已展現亮眼成果,這類模型在野外環境中能泛化到什麼程度,仍是一個未解的問題。我們提出 π0.5,一個在異質任務上進行共同訓練以實現廣泛泛化的 VLA。我們的模型透過結合影像觀測、語言指令、物件偵測、語意子任務預測與低階動作的混合多模態範例進行共同訓練,運用來自多種機器人、高階語意預測、網路資料與其他來源的資料。我們發現這種知識轉移對有效的泛化至關重要,並證明一個以端對端學習驅動的機器人系統,能在全新的住家中執行長時域且靈巧的操作技能,例如清潔廚房或臥室。

連結

  • arXiv 2504.16054: https://arxiv.org/abs/2504.16054
  • PDF: https://arxiv.org/pdf/2504.16054
  • 程式碼: https://github.com/Physical-Intelligence/openpi
  • 專案頁面: https://www.physicalintelligence.company/blog/pi05

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。