π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Auteurs: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

Pourquoi c'est important

Physical Intelligence a publié ses modèles précédents, π0 et π0.5, avec code et poids ouverts dans son dépôt openpi, et π0.7 est le modèle le plus récent de cette lignée. Son argument porte sur les données et non sur l'architecture : si chaque épisode d'entraînement est annoté selon la manière dont il a été réalisé (sa vitesse, sa qualité, la présence d'une erreur et une image du prochain objectif intermédiaire), alors les exécutions ratées, les rollouts autonomes de modèles antérieurs, les autres robots et les vidéos de personnes cessent de tirer la politique vers un comportement moyen et deviennent des données d'entraînement utiles. Les auteurs rapportent qu'un seul checkpoint guidé ainsi fait ce qui demandait auparavant un spécialiste affiné pour chaque tâche, suit des consignes inhabituelles dans des pièces jamais vues, peut être accompagné pas à pas dans de nouvelles tâches avec des appareils ménagers, et plie des chemises avec deux bras industriels UR5e pour lesquels aucune donnée de pliage n'a jamais été collectée. CoRL 2026 a retenu l'article pour un oral. Les lecteurs ne peuvent pas l'exécuter : π0.7 ne figure pas dans openpi et ni code, ni poids, ni données n'ont été publiés ; cette page porte donc sur la méthode et sur les résultats, tous rapportés par les auteurs.

Problème

Les modèles de fondation robotiques sont surtout entraînés sur de bonnes démonstrations téléopérées, avec une brève description de la tâche pour tout prompt. Cela laisse de côté une grande partie des données qu'un laboratoire produit réellement : des démonstrations plus lentes ou moins soignées, des épisodes ratés, des exécutions autonomes de politiques antérieures, d'autres robots et des vidéos de personnes. Mélangées naïvement, des données aux stratégies et qualités différentes poussent une politique à en faire la moyenne et à moins bien réussir. Ces mêmes modèles peinent aussi à suivre des consignes différentes de celles de l'entraînement, à transférer une compétence à un robot qui ne l'a jamais pratiquée, et à bien réaliser même des tâches de dextérité apprises sans être affinés pour chacune. L'article se demande si un prompt plus riche peut rendre toutes ces données exploitables et donner à un seul modèle ces capacités sans ajustement par tâche.

Solution proposée

π0.7 reprend la conception par flow matching de π0.6 avec la mémoire vidéo MEM : un backbone vision-langage Gemma 3 de 4B paramètres, un codeur vidéo qui compresse jusqu'à six images passées par caméra, et un expert d'action de 860M paramètres qui produit des blocs de 50 actions, soit environ 5B paramètres au total. Ce qui change, c'est le prompt. Outre la tâche, il peut contenir la sous-étape suivante en mots, des images de sous-objectif montrant ce que chaque caméra devrait voir quelques secondes plus tard, des métadonnées d'épisode (la durée de l'épisode par tranches de 500 pas, une note de qualité de 1 à 5 et un indicateur d'erreur) et le mode de commande, par articulation ou par effecteur terminal. Chaque élément est omis au hasard pendant l'entraînement, si bien que n'importe quel sous-ensemble fonctionne au test. À l'exécution, les métadonnées demandent un comportement rapide, de qualité maximale et sans erreur ; les sous-étapes viennent d'une politique de haut niveau fondée sur le même modèle ou d'une personne qui le guide ; et les images de sous-objectif viennent d'un modèle du monde affiné à partir du modèle d'image BAGEL de 14B, renouvelées toutes les 4 secondes ou à chaque nouvelle sous-étape. Le guidage sans classifieur (classifier-free guidance) appliqué aux métadonnées pousse en outre les actions vers une exécution rapide et nette.

Idées clés

Annoter chaque épisode avec sa vitesse, sa qualité et ses erreurs transforme les exécutions ratées et autonomes en données d'entraînement utiles ; au test, il suffit de demander au modèle un comportement rapide, de qualité maximale et sans erreur
Les rollouts de spécialistes π0.6* entraînés par apprentissage par renforcement peuvent ainsi être distillés dans le généraliste : sans les données d'évaluation autonome, ou sans les métadonnées, les résultats sur les mêmes tâches ont baissé, surtout en débit
Les images de sous-objectif d'un modèle du monde distinct aident surtout là où le langage seul est le plus faible : les consignes qui vont contre les habitudes des données, et le transfert d'une tâche vers un robot au corps différent
Un modèle qui suit fidèlement le langage peut être accompagné pas à pas dans une nouvelle tâche longue, et ces séances d'accompagnement servent ensuite à entraîner une politique de haut niveau qui exécute la tâche sans personne et sans nouvelles données téléopérées
Le transfert vers un robot très différent a demandé de changer de stratégie, non de copier des mouvements : sur les bras UR5e, plus grands, la politique a saisi le tissu verticalement plutôt qu'avec la prise inclinée des opérateurs sur le robot source, et a mis une chemise dans un sac avec un bras au lieu de deux

Principaux résultats

Pour plier un t-shirt sur un système UR5e bimanuel sans données de linge pour ce robot, π0.7 avec des images de sous-objectif générées a atteint 85,6 % de progression de la tâche et 80 % de réussite, contre 90,9 % et 80,6 % pour 10 téléopérateurs experts (environ 375 heures d'expérience en moyenne) à leurs premières tentatives, 30 essais au total
Sur les quatre tâches de la publication de π0.6* (deux tâches de linge, espresso et montage de cartons), un seul checkpoint π0.7 a égalé les taux de réussite des spécialistes par apprentissage par renforcement propres à chaque tâche, avec un débit supérieur sur le linge varié et le montage de cartons ; sur six autres tâches de dextérité, il a égalé des spécialistes π0.6 affinés
Sur 14 scénarios de suivi de consignes de 3 à 6 étapes dans 4 cuisines et 2 chambres inconnues, π0.7 a suivi une part nettement plus grande des consignes que π0.5 et π0.6 ; l'article le montre sous forme de graphique sans valeurs imprimées
Dans l'étude sur la qualité des données, 8 modèles entraînés sur les meilleurs 30 %, les meilleurs 50 %, les meilleurs 80 % et la totalité des données de linge ont montré que π0.7 avec métadonnées s'améliorait à mesure que les données augmentaient, alors que la version sans métadonnées se dégradait
Les auteurs situent la réussite sur les tâches vues souvent au-dessus de 90 % et sur les tâches inédites ou les combinaisons tâche-robot inédites entre 60 et 80 %. L'inférence prend 38 ms dans la configuration minimale et jusqu'à 127 ms avec mémoire et images de sous-objectif sur un NVIDIA H100 ; chaque image de sous-objectif prend 1,25 seconde sur 4 GPU H100

Limites

Ni code, ni poids, ni données : au 8 novembre 2026, openpi ne contient que les checkpoints π0, π0-FAST et π0.5, l'organisation Hugging Face de Physical Intelligence seulement le tokenizer FAST et deux jeux de données, et les questions ouvertes dans le dépôt openpi sur la publication de π0.6 et π0.7 sont restées sans réponse de l'équipe. La bêta de la Pi API annoncée en octobre 2026 propose les derniers modèles de l'entreprise pour un ajustement hébergé sur demande, sans nommer π0.7
La plupart des résultats sont des graphiques à barres sans valeurs imprimées, sur des tâches, des robots et des grilles de notation propres aux auteurs ; les seuls chiffres exacts du texte sont la comparaison de pliage de chemises avec des téléopérateurs et les temps de calcul
Ni la taille ni la composition des données d'entraînement ne sont indiquées, pas plus que le calcul d'entraînement, si bien que les affirmations sur la diversité des données ne peuvent être ni vérifiées ni reproduites
Les auteurs disent qu'il est difficile, dans un jeu de données aussi vaste, de savoir quelles tâches de test sont vraiment inédites, et les tâches inédites réussissent entre 60 et 80 % contre souvent plus de 90 % pour les tâches vues ; une longue tâche nouvelle comme cuire une patate douce dans une friteuse à air n'a pas fonctionné avec un seul prompt et a nécessité un accompagnement pas à pas
Faire tourner tout le système demande du matériel de centre de données : un NVIDIA H100 pour la politique et la politique de haut niveau, et 4 GPU H100 pour le modèle du monde de 14B qui produit les images de sous-objectif

Impact sur le domaine

La thèse de l'article est que la conception du prompt, et non une nouvelle architecture, permet à un modèle de fondation robotique d'exploiter des données de qualité inégale et de commencer à recombiner des compétences. Ses expériences contrôlées étayent surtout le volet données : avec les métadonnées, ajouter des données de linge a continué d'améliorer le modèle alors même que leur qualité moyenne baissait, tandis que le même modèle sans métadonnées se dégradait ; retirer le cinquième des données le plus varié en tâches a davantage nui aux tâches inédites que retirer un cinquième pris au hasard. Le résultat cross-embodiment est le plus frappant : sur des bras UR5e sans données de linge, le modèle s'est approché de téléopérateurs experts qui utilisaient ce robot pour la première fois. Les auteurs notent eux-mêmes qu'avec autant de données, il est difficile de dire quelles tâches sont vraiment inédites. Comme ni le modèle ni les données ne sont publics, d'autres peuvent reprendre la recette, en annotant les épisodes par qualité et vitesse et en conditionnant sur des images de sous-objectif, mais pas vérifier les résultats ; l'article montre surtout la direction prise par Physical Intelligence depuis les modèles ouverts π0 et π0.5.

Résumé

Nous présentons un nouveau modèle de fondation robotique, appelé π0.7, qui offre de solides performances d'emblée dans un large éventail de scénarios. π0.7 peut suivre des consignes langagières variées dans des environnements inconnus, y compris des tâches en plusieurs étapes avec divers appareils de cuisine, assurer une généralisation cross-embodiment zero-shot, permettant par exemple à un robot de plier du linge sans avoir jamais vu la tâche, et réaliser des tâches difficiles comme utiliser une machine à espresso d'emblée, à un niveau de performance égal à celui de modèles bien plus spécialisés, affinés par apprentissage par renforcement. L'idée principale derrière π0.7 est d'utiliser un conditionnement de contexte varié pendant l'entraînement. Cette information de conditionnement, contenue dans le prompt, permet d'orienter précisément le modèle pour qu'il accomplisse de nombreuses tâches avec des stratégies différentes. Il est conditionné non seulement par une commande langagière décrivant ce qu'il doit faire, mais aussi par des informations multimodales supplémentaires décrivant la manière ou la stratégie à adopter, notamment des métadonnées sur la réalisation de la tâche et des images de sous-objectif. Cela permet à π0.7 d'exploiter des données très variées, dont des démonstrations, des données potentiellement sous-optimales (autonomes), échecs compris, et des données issues de sources non robotiques. Nos expériences évaluent π0.7 sur de nombreuses tâches avec plusieurs plateformes robotiques, sur des tâches exigeant vitesse et dextérité, suivi du langage et généralisation compositionnelle des tâches.

Liens

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
Page du projet: https://www.pi.website/blog/pi07