π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

作者: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

為何重要

Physical Intelligence 先前已在 openpi 儲存庫以開放的程式碼與權重釋出 π0 和 π0.5，π0.7 則是這個系列的最新模型。它的論點在於資料而非架構：如果每個訓練回合都標註了它是怎麼完成的（速度、品質、是否有失誤，以及下一個中間目標的影像），那麼失敗的執行、早期模型的自主執行紀錄、其他機器人與人類影片，就不會再把策略拉向平均行為，而會成為可用的訓練資料。作者表示，以這種方式提示的同一個檢查點，能做到過去得為每項任務各微調一個專用模型才做得到的事，能在從未見過的房間裡聽從不尋常的指令，能被一步步指導完成使用新電器的任務，還能用兩支從未收集過摺衣資料的工業 UR5e 機械手臂摺襯衫。CoRL 2026 選這篇論文做口頭報告。讀者無法執行它：π0.7 不在 openpi 裡，程式碼、權重與資料都沒有釋出，因此本頁介紹的是方法與證據，而這些證據全部出自作者本身。

問題

機器人基礎模型大多以優質的遠端操作示範訓練，提示只有一句簡短的任務描述。這樣就捨棄了實驗室實際產生的大量資料：較慢或較粗糙的示範、失敗的回合、早期策略的自主執行、其他機器人以及人類影片。若直接混在一起，策略與品質各不相同的資料會讓策略在它們之間取平均，表現反而變差。同樣的模型也很難聽從與訓練時不同的指令，很難把一項技能轉移到從未練習過它的機器人上，即使是訓練過的靈巧任務，若不針對每項任務各自微調也做不好。論文想知道的是：更豐富的提示能否讓這些資料全都派上用場，並讓單一模型不必逐項微調就具備這些能力。

提出的方法

π0.7 延續 π0.6 搭配 MEM 影片記憶的流匹配設計：一個 4B 參數的 Gemma 3 視覺-語言骨幹網路，一個把每台攝影機最多六張過去畫面壓縮起來的影片編碼器，以及一個 860M 參數、輸出 50 個動作區塊的動作專家，合計約 5B 參數。改變的是提示。除了任務之外，提示還可以包含以文字描述的下一個子任務、顯示每台攝影機幾秒後應該看到什麼的子目標影像、回合中繼資料（回合長度以 500 步為一級、1 到 5 的品質分數與失誤標記），以及控制模式：關節空間或末端執行器。訓練時每個部分都會被隨機拿掉，因此測試時任何子集都能用。執行時，中繼資料要求快速、最高品質且沒有失誤的行為；子任務來自以同一模型為基礎的高階策略，或來自正在指導它的人；子目標影像則來自由 14B 的 BAGEL 影像模型微調而成的世界模型，每 4 秒或每遇到新的子任務就更新。對中繼資料施加無分類器引導（classifier-free guidance），會進一步把動作推向快速、俐落的執行。

關鍵見解

為每個回合標註速度、品質與失誤，能把失敗與自主執行的資料變成有用的訓練資料；測試時只要要求模型表現出快速、最高品質且沒有失誤的行為即可
以強化學習訓練的 π0.6* 專用模型的執行紀錄，可以用這種方式蒸餾進通用模型：拿掉自主評估資料或拿掉中繼資料後，同樣任務上的結果都下降，以產出率下降最多
另一個世界模型產生的子目標影像，在只靠語言最薄弱的地方幫助最大：違背資料中慣性的指令，以及把任務轉移到身體構造不同的機器人上
能緊密聽從語言的模型，可以被一步步指導完成新的長任務，這些指導過程之後可用來訓練高階策略，讓它在沒有人參與、也不需要新的遠端操作資料的情況下完成任務
轉移到差異很大的機器人，意味著改變策略而不是照抄動作：在較高的 UR5e 機械手臂上，策略以垂直方式抓取布料，而不是操作員在來源機器人上使用的傾斜抓法；把襯衫裝進袋子時也只用一支手臂而非兩支

主要結果

在一套從未收集過該機器人摺衣資料的雙臂 UR5e 系統上摺 T 恤時，使用產生的子目標影像的 π0.7 達到 85.6% 的任務進度與 80% 的成功率；10 位資深遠端操作員（平均約 375 小時經驗）首次嘗試的結果為 90.9% 與 80.6%，共 30 次試驗
在 π0.6* 發表時的四項任務（兩項摺衣、義式咖啡與摺紙箱）上，同一個 π0.7 檢查點追平各任務強化學習專用模型的成功率，並在多樣衣物與摺紙箱上有更高的產出率；在另外六項靈巧任務上，它追平了微調過的 π0.6 專用模型
在 4 間未見過的廚房與 2 間未見過的臥室中、共 14 個包含 3 到 6 步指令的情境裡，π0.7 聽從指令的比例明顯高於 π0.5 與 π0.6；論文以圖表呈現，沒有標出數值
在資料品質研究中，分別以前 30%、前 50%、前 80% 與全部摺衣資料訓練的 8 個模型顯示：帶中繼資料的 π0.7 隨資料增加而進步，不帶中繼資料的版本則變差
作者提出的成功率：已見任務通常高於 90%，未見任務或未見過的任務與機器人組合在 60% 到 80% 之間。推論在最精簡設定下需 38 ms，加上記憶與子目標影像時在一張 NVIDIA H100 上最多需 127 ms；每張子目標影像在 4 張 H100 GPU 上需 1.25 秒

限制

沒有程式碼、權重或資料：截至 2026 年 11 月 8 日，openpi 只有 π0、π0-FAST 與 π0.5 的檢查點，Physical Intelligence 的 Hugging Face 組織只有 FAST 分詞器與兩個資料集，openpi 儲存庫中關於釋出 π0.6 與 π0.7 的公開提問也沒有得到團隊回覆。2026 年 10 月宣布的 Pi API 測試版以申請制提供該公司最新模型的託管微調，但沒有點名 π0.7
大部分結果是沒有標出數值的長條圖，使用的任務、機器人與評分標準都由作者自訂；正文中唯一的精確數字是摺襯衫與遠端操作員的比較，以及執行時間
論文沒有交代訓練資料的規模與組成，也沒有交代訓練算力，因此關於資料多樣性的說法既無法查證，也無法重現
作者表示，在這麼龐大的資料集中很難判斷哪些測試任務真的沒見過；未見任務的成功率在 60% 到 80% 之間，已見任務則通常超過 90%；像用氣炸鍋烤地瓜這樣的新長任務，只靠一個提示無法完成，需要一步步指導
執行整套系統需要資料中心等級的硬體：策略與高階策略需要一張 NVIDIA H100，產生子目標影像的 14B 世界模型需要 4 張 H100 GPU

對領域的影響

論文的主張是：讓機器人基礎模型能運用品質參差的資料、並開始重新組合技能的，是提示設計，而不是新的架構。它的對照實驗最直接支持資料這一部分：有中繼資料時，加入更多摺衣資料會讓模型持續進步，即使資料的平均品質在下降；同一個模型沒有中繼資料時則會變差；拿掉任務多樣性最高的五分之一資料，對未見任務的傷害比隨機拿掉五分之一更大。跨形態的結果最引人注目：在沒有摺衣資料的 UR5e 機械手臂上，模型的表現接近第一次操作這台機器人的資深遠端操作員。作者自己也指出，資料這麼多，很難說哪些任務真的沒見過。由於模型與資料都未公開，其他人可以採用這套做法，也就是依品質與速度標註回合、並以子目標影像為條件，卻無法查證結果；這篇論文主要呈現的是 Physical Intelligence 在開放的 π0 與 π0.5 之後，把模型帶往了哪個方向。

摘要

我們提出一個新的機器人基礎模型 π0.7，能在廣泛的情境中直接拿來就有強勁表現。π0.7 能在未見過的環境中聽從多樣的語言指令，包括使用各種廚房電器的多階段任務；能做到零樣本跨形態泛化，例如讓機器人在從未見過這項任務的情況下摺衣服；也能直接操作義式咖啡機等高難度任務，表現與專門得多、以強化學習微調的模型相當。π0.7 背後的主要構想，是在訓練時使用多樣的情境條件。這些包含在提示中的條件資訊，讓我們能精確引導模型，以不同策略執行許多任務。模型的條件不只是描述它該做什麼的語言指令，還有額外的多模態資訊，描述它該以什麼方式或策略去做，包括任務表現的中繼資料與子目標影像。這讓 π0.7 能使用非常多樣的資料，包括示範、可能不夠理想的（自主）資料（含失敗）以及非機器人來源的資料。我們的實驗在多個機器人平台上以大量任務評估 π0.7，涵蓋需要速度與靈巧度、語言遵循以及組合式任務泛化的任務。

連結

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
專案頁面: https://www.pi.website/blog/pi07