π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Autores: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

Por que importa

A Physical Intelligence lançou seus modelos anteriores, π0 e π0.5, com código e pesos abertos no repositório openpi, e o π0.7 é o modelo mais recente dessa linha. Seu argumento é sobre dados, não arquitetura: se cada episódio de treinamento for rotulado com o modo como foi executado (sua velocidade, sua qualidade, se teve um erro e uma imagem do próximo objetivo intermediário), então execuções fracassadas, rollouts autônomos de modelos anteriores, outros robôs e vídeos de pessoas deixam de puxar a política para um comportamento médio e viram dados de treinamento úteis. Os autores relatam que um único checkpoint guiado assim faz o que antes exigia um especialista ajustado para cada tarefa, segue instruções incomuns em cômodos que nunca viu, pode ser conduzido passo a passo em novas tarefas com eletrodomésticos e dobra camisas com dois braços industriais UR5e para os quais nunca foram coletados dados de dobra. A CoRL 2026 selecionou o artigo como oral. Os leitores não podem executá-lo: o π0.7 não está no openpi e nenhum código, peso ou dado foi lançado, então esta página trata do método e das evidências, todas relatadas pelos autores.

Problema

Modelos de fundação robóticos são treinados principalmente com boas demonstrações teleoperadas, tendo uma breve descrição da tarefa como único prompt. Isso deixa de fora boa parte dos dados que um laboratório realmente produz: demonstrações mais lentas ou descuidadas, episódios fracassados, execuções autônomas de políticas anteriores, outros robôs e vídeos de pessoas. Misturados de forma ingênua, dados com estratégias e qualidades diferentes fazem a política tirar uma média entre eles e ter desempenho pior. Os mesmos modelos também têm dificuldade em seguir instruções diferentes das do treinamento, em levar uma habilidade a um robô que nunca a praticou e em executar bem até tarefas de destreza treinadas sem um ajuste fino para cada uma. O artigo pergunta se um prompt mais rico pode tornar todos esses dados utilizáveis e dar a um único modelo essas capacidades sem ajuste fino por tarefa.

Solução proposta

O π0.7 mantém o projeto de flow matching do π0.6 com a memória de vídeo MEM: um backbone de visão-linguagem Gemma 3 de 4B parâmetros, um encoder de vídeo que comprime até seis quadros passados por câmera e um especialista de ação de 860M parâmetros que gera blocos de 50 ações, cerca de 5B parâmetros no total. O que muda é o prompt. Além da tarefa, ele pode conter a próxima subetapa em palavras, imagens de subobjetivo mostrando o que cada câmera deve ver alguns segundos depois, metadados do episódio (a duração do episódio em faixas de 500 passos, uma nota de qualidade de 1 a 5 e uma marcação de erro) e o modo de controle, por junta ou por efetuador final. Cada parte é omitida aleatoriamente no treinamento, então qualquer subconjunto funciona no teste. Na execução, os metadados pedem um comportamento rápido, de máxima qualidade e sem erros; as subetapas vêm de uma política de alto nível construída sobre o mesmo modelo ou de uma pessoa que o orienta; e as imagens de subobjetivo vêm de um modelo de mundo ajustado a partir do modelo de imagem BAGEL de 14B, renovadas a cada 4 segundos ou a cada nova subetapa. O classifier-free guidance aplicado aos metadados empurra ainda mais as ações para uma execução rápida e limpa.

Principais ideias

Rotular cada episódio com velocidade, qualidade e erros transforma execuções fracassadas e autônomas em dados de treinamento úteis; no teste, basta pedir ao modelo um comportamento rápido, de máxima qualidade e sem erros
Assim é possível destilar no generalista os rollouts de especialistas π0.6* treinados com aprendizado por reforço: sem os dados de avaliação autônoma, ou sem os metadados, os resultados nas mesmas tarefas caíram, sobretudo em vazão
As imagens de subobjetivo de um modelo de mundo separado ajudam mais onde a linguagem sozinha é mais fraca: instruções que contrariam hábitos dos dados e a transferência de uma tarefa para um robô com outro corpo
Um modelo que segue a linguagem de perto pode ser conduzido passo a passo em uma tarefa longa nova, e essas sessões de condução depois treinam uma política de alto nível que executa a tarefa sem uma pessoa e sem novos dados teleoperados
Transferir para um robô muito diferente significou mudar de estratégia, não copiar movimentos: nos braços UR5e, mais altos, a política pegou o tecido na vertical em vez da pegada inclinada que os operadores usam no robô de origem, e ensacou uma camisa com um braço em vez de dois

Principais resultados

Ao dobrar uma camiseta em um sistema UR5e bimanual sem dados de roupa para esse robô, o π0.7 com imagens de subobjetivo geradas atingiu 85,6% de progresso na tarefa e 80% de sucesso, contra 90,9% e 80,6% de 10 teleoperadores experientes (cerca de 375 horas de experiência em média) em suas primeiras tentativas, 30 ensaios no total
Nas quatro tarefas do lançamento do π0.6* (duas de roupa, espresso e montagem de caixas), um único checkpoint do π0.7 igualou as taxas de sucesso dos especialistas por aprendizado por reforço de cada tarefa e teve vazão maior em roupas variadas e na montagem de caixas; em outras seis tarefas de destreza, igualou especialistas π0.6 ajustados
Em 14 cenários de seguimento de instruções de 3 a 6 passos, em 4 cozinhas e 2 quartos não vistos, o π0.7 seguiu uma parcela claramente maior das instruções do que o π0.5 e o π0.6; o artigo mostra isso em um gráfico sem valores impressos
No estudo de qualidade dos dados, 8 modelos treinados com os melhores 30%, os melhores 50%, os melhores 80% e todos os dados de roupa mostraram o π0.7 com metadados melhorando conforme os dados cresciam, enquanto a versão sem metadados piorava
Os autores situam o sucesso em tarefas vistas muitas vezes acima de 90% e em tarefas não vistas ou pares tarefa-robô não vistos entre 60 e 80%. A inferência leva 38 ms na configuração mínima e até 127 ms com memória e imagens de subobjetivo em uma NVIDIA H100; cada imagem de subobjetivo leva 1,25 segundo em 4 GPUs H100

Limitações

Sem código, pesos ou dados: em 8 de novembro de 2026, o openpi contém apenas os checkpoints do π0, π0-FAST e π0.5, a organização da Physical Intelligence no Hugging Face apenas o tokenizador FAST e dois conjuntos de dados, e as perguntas abertas no repositório openpi sobre o lançamento do π0.6 e do π0.7 não têm resposta da equipe. O beta da Pi API anunciado em outubro de 2026 oferece os modelos mais recentes da empresa para ajuste fino hospedado mediante inscrição, sem citar o π0.7
A maioria dos resultados são gráficos de barras sem valores impressos, sobre tarefas, robôs e critérios de pontuação dos próprios autores; os únicos números exatos do texto são a comparação de dobra de camisas com teleoperadores e os tempos
Nem o tamanho nem a composição dos dados de treinamento são informados, nem o poder computacional de treinamento, então as afirmações sobre diversidade de dados não podem ser verificadas nem repetidas
Os autores dizem que é difícil saber, em um conjunto de dados tão grande, quais tarefas de teste são de fato não vistas, e tarefas não vistas têm sucesso entre 60 e 80% contra muitas vezes mais de 90% nas vistas; uma tarefa nova e longa como cozinhar uma batata-doce em uma air fryer não funcionou com um único prompt e precisou de condução passo a passo
Rodar o sistema completo exige hardware de data center: uma NVIDIA H100 para a política e a política de alto nível, e 4 GPUs H100 para o modelo de mundo de 14B que gera as imagens de subobjetivo

Impacto na área

A tese do artigo é que o desenho do prompt, e não uma arquitetura nova, permite a um modelo de fundação robótico aproveitar dados de qualidade mista e começar a recombinar habilidades. Seus experimentos controlados sustentam mais diretamente a parte dos dados: com metadados, acrescentar mais dados de roupa continuou melhorando o modelo mesmo com a queda da qualidade média dos dados, enquanto o mesmo modelo sem metadados piorava; remover o quinto dos dados com maior diversidade de tarefas prejudicou mais as tarefas não vistas do que remover um quinto aleatório. O resultado de cross-embodiment é o mais marcante: em braços UR5e sem dados de roupa, o modelo chegou perto de teleoperadores experientes que usavam esse robô pela primeira vez. Os próprios autores observam que, com tantos dados, é difícil dizer quais tarefas são de fato não vistas. Como nem o modelo nem os dados são públicos, outros podem adotar a receita, rotulando episódios por qualidade e velocidade e condicionando em imagens de subobjetivo, mas não podem verificar os resultados; o artigo mostra sobretudo o rumo que a Physical Intelligence deu a seus modelos desde os abertos π0 e π0.5.

Resumo

Apresentamos um novo modelo de fundação robótico, chamado π0.7, que possibilita um desempenho forte de imediato em uma ampla variedade de cenários. O π0.7 consegue seguir instruções linguísticas diversas em ambientes não vistos, incluindo tarefas de várias etapas com diversos eletrodomésticos de cozinha, oferecer generalização cross-embodiment zero-shot, por exemplo permitindo que um robô dobre roupa sem ter visto a tarefa antes, e realizar tarefas desafiadoras como operar uma máquina de espresso de imediato, com um nível de desempenho equivalente ao de modelos muito mais especializados ajustados com aprendizado por reforço. A ideia principal por trás do π0.7 é usar um condicionamento de contexto diverso durante o treinamento. Essa informação de condicionamento, contida no prompt, permite direcionar o modelo com precisão para executar muitas tarefas com estratégias diferentes. Ele é condicionado não apenas a um comando em linguagem que descreve o que deve fazer, mas a informações multimodais adicionais que descrevem também a maneira ou estratégia com que deve fazê-lo, incluindo metadados sobre o desempenho da tarefa e imagens de subobjetivo. Isso permite ao π0.7 usar dados muito diversos, incluindo demonstrações, dados potencialmente subótimos (autônomos), com falhas incluídas, e dados de fontes não robóticas. Nossos experimentos avaliam o π0.7 em inúmeras tarefas com várias plataformas robóticas, em tarefas que exigem velocidade e destreza, seguimento de linguagem e generalização composicional de tarefas.

Open Source Robotics