π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

作者: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

为何重要

Physical Intelligence 曾在其 openpi 仓库中以开放代码和权重发布了此前的 π0 和 π0.5，而 π0.7 是这一系列的最新模型。它的论点关乎数据而非架构：如果每个训练回合都标注了它是如何完成的（速度、质量、是否出现失误，以及下一个中间目标的图像），那么失败的运行、早期模型的自主执行数据、其他机器人和人类视频就不再把策略拉向平均行为，而成为可用的训练数据。作者报告称，以这种方式提示的同一个检查点，能完成过去需要为每个任务微调一个专用模型才能做到的事，能在从未见过的房间里遵循不寻常的指令，能被一步步指导完成使用新电器的任务，还能用两台从未采集过叠衣数据的工业 UR5e 机械臂叠衬衫。CoRL 2026 将这篇论文选为口头报告。读者无法运行它：π0.7 不在 openpi 中，代码、权重和数据都没有发布，因此本页介绍的是方法和证据，而这些证据全部来自作者本人。

问题

机器人基础模型主要用优质的遥操作演示来训练，提示只有一句简短的任务描述。这就舍弃了实验室实际产生的大量数据：更慢或更粗糙的演示、失败的回合、早期策略的自主运行、其他机器人以及人类视频。如果简单地混在一起，策略和质量各异的数据会让策略在它们之间取平均，表现反而变差。这些模型还难以遵循与训练时不同的指令，难以把一项技能迁移到从未练习过它的机器人上，甚至在训练过的灵巧任务上，如果不针对每个任务单独微调也做不好。论文要回答的是：更丰富的提示能否让所有这些数据都变得可用，并让单个模型在不做逐任务微调的情况下具备这些能力。

提出的方法

π0.7 沿用了 π0.6 结合 MEM 视频记忆的流匹配设计：一个 4B 参数的 Gemma 3 视觉-语言骨干网络，一个把每个摄像头最多六帧历史画面压缩起来的视频编码器，以及一个 860M 参数、输出 50 个动作块的动作专家，总计约 5B 参数。变化在于提示。除任务外，提示还可以包含用文字描述的下一个子任务、显示每个摄像头几秒后应看到画面的子目标图像、回合元数据（回合长度按 500 步分档、1 到 5 的质量评分和失误标记），以及控制模式：关节空间或末端执行器。训练时每一部分都会被随机丢弃，因此测试时任意子集都能使用。运行时，元数据要求快速、最高质量且无失误的行为；子任务来自基于同一模型的高层策略，或来自正在指导它的人；子目标图像来自一个由 14B 的 BAGEL 图像模型微调而来的世界模型，每 4 秒或每遇到新的子任务时刷新。对元数据施加无分类器引导（classifier-free guidance），会进一步把动作推向快速、干净的执行。

关键见解

• 为每个回合标注速度、质量和失误，可以把失败的和自主运行的数据变成有用的训练数据；测试时只需要求模型表现出快速、最高质量且无失误的行为
• 用强化学习训练的 π0.6* 专用模型的执行数据可以借此蒸馏进通用模型：去掉自主评估数据或去掉元数据后，同样任务上的结果都会下降，吞吐量下降最明显
• 独立世界模型生成的子目标图像，在仅靠语言最薄弱的地方帮助最大：违背数据中习惯的指令，以及把任务迁移到身体结构不同的机器人上
• 一个能紧密遵循语言的模型可以被一步步指导完成新的长任务，这些指导过程随后可用于训练一个高层策略，让它在无人参与、也不需要新的遥操作数据的情况下完成任务
• 迁移到差异很大的机器人意味着改变策略，而不是照搬动作：在更高的 UR5e 机械臂上，策略竖直抓取布料，而不是像操作员在源机器人上那样倾斜抓取；装袋衬衫时也只用一只手臂而不是两只

主要结果

• 在一套从未采集过该机器人叠衣数据的双臂 UR5e 系统上叠 T 恤时，使用生成子目标图像的 π0.7 达到 85.6% 的任务进度和 80% 的成功率；10 名资深遥操作员（平均约 375 小时经验）首次尝试的结果为 90.9% 和 80.6%，共 30 次试验
• 在 π0.6* 发布时的四项任务（两项叠衣、意式咖啡和折纸箱）上，同一个 π0.7 检查点追平了各任务强化学习专用模型的成功率，并在多样衣物和折纸箱上吞吐量更高；在另外六项灵巧任务上，它追平了微调后的 π0.6 专用模型
• 在 4 个未见过的厨房和 2 个未见过的卧室中、共 14 个包含 3 到 6 步指令的场景里，π0.7 遵循指令的比例明显高于 π0.5 和 π0.6；论文以图表呈现，未标出具体数值
• 在数据质量研究中，分别用前 30%、前 50%、前 80% 和全部叠衣数据训练的 8 个模型显示：带元数据的 π0.7 随数据增加而提升，不带元数据的版本则变差
• 作者给出的成功率是：已见任务通常高于 90%，未见任务或未见过的任务与机器人组合在 60% 到 80% 之间。推理在最简配置下需 38 ms，加上记忆和子目标图像时在一块 NVIDIA H100 上最多需 127 ms；每张子目标图像在 4 块 H100 GPU 上需 1.25 秒

局限

• 没有代码、权重或数据：截至 2026 年 11 月 8 日，openpi 只包含 π0、π0-FAST 和 π0.5 的检查点，Physical Intelligence 的 Hugging Face 组织只有 FAST 分词器和两个数据集，openpi 仓库中关于发布 π0.6 和 π0.7 的公开提问也没有得到团队回复。2026 年 10 月宣布的 Pi API 测试版以申请方式提供该公司最新模型的托管微调，但并未点名 π0.7
• 大多数结果是没有标出数值的柱状图，所用任务、机器人和评分标准都由作者自定；正文中唯一的精确数字是叠衬衫与遥操作员的对比以及运行耗时
• 论文没有给出训练数据的规模和构成，也没有给出训练算力，因此关于数据多样性的说法既无法核实，也无法复现
• 作者表示，在如此庞大的数据集中很难判断哪些测试任务真正未见过；未见任务的成功率在 60% 到 80% 之间，而已见任务通常超过 90%；像用空气炸锅烤红薯这样的新长任务，仅凭一个提示无法完成，需要一步步指导
• 运行整个系统需要数据中心级硬件：策略和高层策略需要一块 NVIDIA H100，生成子目标图像的 14B 世界模型需要 4 块 H100 GPU

对领域的影响

论文的主张是：让机器人基础模型能够利用质量参差的数据并开始重组技能的，是提示设计，而不是新的架构。其对照实验最直接地支持了数据这一部分：有元数据时，加入更多叠衣数据会持续提升模型，即使数据的平均质量在下降；而同一模型在没有元数据时会变差；去掉任务多样性最高的五分之一数据，对未见任务的伤害大于随机去掉五分之一。跨具身的结果最为醒目：在没有叠衣数据的 UR5e 机械臂上，模型的表现接近第一次操作该机器人的资深遥操作员。作者自己也指出，数据如此之多，很难说哪些任务真正未见过。由于模型和数据都未公开，其他人可以借鉴这套方法，即按质量和速度标注回合并以子目标图像为条件，但无法核实结果；这篇论文主要展示了 Physical Intelligence 在开放的 π0 和 π0.5 之后把模型带往的方向。

摘要

我们提出一个新的机器人基础模型 π0.7，它能在广泛的场景中开箱即用地取得出色表现。π0.7 能在未见过的环境中遵循多样的语言指令，包括使用各种厨房电器的多阶段任务；能实现零样本跨具身泛化，例如让机器人在从未见过该任务的情况下叠衣服；还能开箱即用地完成操作意式咖啡机等高难度任务，表现与专门得多、经强化学习微调的模型相当。π0.7 背后的核心思想是在训练中使用多样的上下文条件。这些包含在提示中的条件信息，使得能够精确地引导模型，以不同策略执行许多任务。模型的条件不仅是描述它应当做什么的语言命令，还有额外的多模态信息，用于描述它应当以何种方式或策略去做，包括关于任务表现的元数据和子目标图像。这使 π0.7 能够使用非常多样的数据，包括演示、可能次优的（自主）数据（含失败数据）以及来自非机器人来源的数据。我们的实验在多个机器人平台上的大量任务中评估 π0.7，涵盖需要速度和灵巧性、语言遵循以及组合式任务泛化的任务。

链接

• arXiv 2604.15483: https://arxiv.org/abs/2604.15483
• PDF: https://arxiv.org/pdf/2604.15483
• 项目主页: https://www.pi.website/blog/pi07