π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Autori: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

Perché è importante

Physical Intelligence ha pubblicato i suoi modelli precedenti, π0 e π0.5, con codice e pesi aperti nel repository openpi, e π0.7 è il modello più recente di questa linea. La sua tesi riguarda i dati, non l'architettura: se ogni episodio di addestramento è etichettato con il modo in cui è stato svolto (la velocità, la qualità, la presenza di un errore e un'immagine del prossimo obiettivo intermedio), allora le esecuzioni fallite, i rollout autonomi di modelli precedenti, gli altri robot e i video di persone smettono di trascinare la policy verso un comportamento medio e diventano dati di addestramento utili. Gli autori riferiscono che un unico checkpoint guidato così fa ciò che prima richiedeva uno specialista con fine-tuning per ogni compito, segue istruzioni insolite in stanze mai viste, può essere guidato passo passo in nuovi compiti con elettrodomestici e piega camicie con due bracci industriali UR5e per i quali non sono mai stati raccolti dati di piegatura. CoRL 2026 ha scelto l'articolo per una presentazione orale. I lettori non possono eseguirlo: π0.7 non è in openpi e non sono stati pubblicati né codice, né pesi, né dati, quindi questa pagina tratta il metodo e le prove, tutte riportate dagli autori.

Problema

I foundation model robotici sono addestrati soprattutto su buone dimostrazioni ottenute tramite teleoperazione, con una breve descrizione del compito come unico prompt. Così resta fuori gran parte dei dati che un laboratorio produce davvero: dimostrazioni più lente o meno accurate, episodi falliti, esecuzioni autonome di policy precedenti, altri robot e video di persone. Mescolati in modo ingenuo, dati con strategie e qualità diverse portano una policy a fare la media fra di essi e a rendere peggio. Gli stessi modelli faticano anche a seguire istruzioni diverse da quelle dell'addestramento, a portare un'abilità su un robot che non l'ha mai praticata e a svolgere bene persino compiti di destrezza appresi senza un fine-tuning per ciascuno. L'articolo si chiede se un prompt più ricco possa rendere utilizzabili tutti questi dati e dare a un solo modello queste capacità senza fine-tuning per compito.

Soluzione proposta

π0.7 mantiene il design a flow matching di π0.6 con la memoria video MEM: un backbone visione-linguaggio Gemma 3 da 4B parametri, un encoder video che comprime fino a sei fotogrammi passati per telecamera e un esperto d'azione da 860M parametri che produce blocchi di 50 azioni, circa 5B parametri in tutto. Ciò che cambia è il prompt. Oltre al compito, può contenere il sottopasso successivo a parole, immagini di sotto-obiettivo che mostrano cosa ogni telecamera dovrebbe vedere qualche secondo dopo, metadati dell'episodio (la durata dell'episodio in fasce di 500 passi, un punteggio di qualità da 1 a 5 e un indicatore di errore) e la modalità di controllo, nello spazio dei giunti o dell'end effector. Ogni parte viene omessa a caso durante l'addestramento, così qualunque sottoinsieme funziona in fase di test. In esecuzione i metadati chiedono un comportamento rapido, di qualità massima e senza errori; i sottopassi arrivano da una policy di alto livello costruita sullo stesso modello o da una persona che lo guida; le immagini di sotto-obiettivo arrivano da un modello del mondo ottenuto con fine-tuning dal modello di immagini BAGEL da 14B, aggiornate ogni 4 secondi o a ogni nuovo sottopasso. La classifier-free guidance applicata ai metadati spinge inoltre le azioni verso un'esecuzione rapida e pulita.

Idee chiave

Etichettare ogni episodio con velocità, qualità ed errori trasforma le esecuzioni fallite e autonome in dati di addestramento utili; in fase di test basta chiedere al modello un comportamento rapido, di qualità massima e senza errori
In questo modo si possono distillare nel generalista i rollout degli specialisti π0.6* addestrati con apprendimento per rinforzo: senza i dati di valutazione autonoma, o senza i metadati, i risultati sugli stessi compiti sono calati, soprattutto nella produttività
Le immagini di sotto-obiettivo di un modello del mondo separato aiutano soprattutto dove il solo linguaggio è più debole: istruzioni che vanno contro le abitudini dei dati e il trasferimento di un compito a un robot con un corpo diverso
Un modello che segue fedelmente il linguaggio può essere guidato passo passo in un nuovo compito lungo, e quelle sessioni di guida servono poi ad addestrare una policy di alto livello che svolge il compito senza una persona e senza nuovi dati da teleoperazione
Il trasferimento su un robot molto diverso ha richiesto di cambiare strategia, non di copiare movimenti: sui bracci UR5e, più alti, la policy ha afferrato il tessuto in verticale invece che con la presa inclinata usata dagli operatori sul robot di origine, e ha insacchettato una camicia con un braccio invece che con due

Risultati principali

Piegando una maglietta su un sistema UR5e bimanuale senza dati sul bucato per quel robot, π0.7 con immagini di sotto-obiettivo generate ha raggiunto l'85,6% di avanzamento del compito e l'80% di successo, contro il 90,9% e l'80,6% di 10 teleoperatori esperti (in media circa 375 ore di esperienza) ai primi tentativi, 30 prove in tutto
Sui quattro compiti della pubblicazione di π0.6* (due di bucato, espresso e montaggio di scatole), un unico checkpoint π0.7 ha eguagliato i tassi di successo degli specialisti con apprendimento per rinforzo di ciascun compito e ha avuto una produttività maggiore sul bucato vario e sul montaggio di scatole; su altri sei compiti di destrezza ha eguagliato specialisti π0.6 con fine-tuning
In 14 scenari di esecuzione di istruzioni da 3 a 6 passi in 4 cucine e 2 camere da letto mai viste, π0.7 ha seguito una quota di istruzioni nettamente maggiore di π0.5 e π0.6; l'articolo lo mostra in un grafico senza valori stampati
Nello studio sulla qualità dei dati, 8 modelli addestrati sul migliore 30%, sul migliore 50%, sul migliore 80% e su tutti i dati sul bucato hanno mostrato π0.7 con metadati migliorare al crescere dei dati, mentre la versione senza metadati peggiorava
Gli autori collocano il successo sui compiti visti spesso sopra il 90% e sui compiti inediti o sulle coppie compito-robot inedite tra il 60 e l'80%. L'inferenza richiede 38 ms nella configurazione minima e fino a 127 ms con memoria e immagini di sotto-obiettivo su una NVIDIA H100; ogni immagine di sotto-obiettivo richiede 1,25 secondi su 4 GPU H100

Limiti

Né codice, né pesi, né dati: all'8 novembre 2026 openpi contiene solo i checkpoint di π0, π0-FAST e π0.5, l'organizzazione Hugging Face di Physical Intelligence solo il tokenizer FAST e due dataset, e le domande aperte nel repository openpi sul rilascio di π0.6 e π0.7 non hanno risposta dal team. La beta della Pi API annunciata a ottobre 2026 offre i modelli più recenti dell'azienda per fine-tuning in hosting su richiesta, senza nominare π0.7
La maggior parte dei risultati sono grafici a barre senza valori stampati, su compiti, robot e criteri di valutazione degli autori stessi; gli unici numeri esatti nel testo sono il confronto sul piegare camicie con i teleoperatori e i tempi
Non sono indicate né la dimensione né la composizione dei dati di addestramento, né la potenza di calcolo usata, quindi le affermazioni sulla varietà dei dati non si possono verificare né ripetere
Gli autori dicono che in un dataset così grande è difficile stabilire quali compiti di test siano davvero inediti, e i compiti inediti riescono tra il 60 e l'80% contro spesso oltre il 90% di quelli visti; un compito nuovo e lungo come cuocere una patata dolce in una friggitrice ad aria non ha funzionato con un solo prompt e ha richiesto una guida passo passo
Far funzionare l'intero sistema richiede hardware da data center: una NVIDIA H100 per la policy e la policy di alto livello, e 4 GPU H100 per il modello del mondo da 14B che genera le immagini di sotto-obiettivo

Impatto sul settore

La tesi dell'articolo è che il design del prompt, e non una nuova architettura, permette a un foundation model robotico di sfruttare dati di qualità mista e di iniziare a ricombinare le abilità. Gli esperimenti controllati sostengono soprattutto la parte sui dati: con i metadati, aggiungere altri dati sul bucato ha continuato a migliorare il modello anche se la qualità media dei dati scendeva, mentre lo stesso modello senza metadati peggiorava; togliere il quinto dei dati con la maggiore varietà di compiti ha danneggiato i compiti mai visti più che togliere un quinto scelto a caso. Il risultato cross-embodiment è il più notevole: su bracci UR5e senza dati sul bucato, il modello si è avvicinato a teleoperatori esperti che usavano quel robot per la prima volta. Gli autori stessi notano che con così tanti dati è difficile dire quali compiti siano davvero inediti. Poiché né il modello né i dati sono pubblici, altri possono adottare la ricetta, etichettando gli episodi per qualità e velocità e condizionando su immagini di sotto-obiettivo, ma non possono verificare i risultati; l'articolo mostra soprattutto la direzione presa da Physical Intelligence dopo i modelli aperti π0 e π0.5.

Abstract

Presentiamo un nuovo foundation model robotico, chiamato π0.7, che offre prestazioni solide fin da subito in un'ampia gamma di scenari. π0.7 sa seguire istruzioni linguistiche diverse in ambienti mai visti, compresi compiti in più fasi con vari elettrodomestici da cucina, offrire generalizzazione cross-embodiment zero-shot, permettendo per esempio a un robot di piegare il bucato senza aver mai visto il compito, e svolgere compiti impegnativi come usare una macchina per espresso fin da subito, con un livello di prestazioni pari a quello di modelli molto più specializzati affinati con apprendimento per rinforzo. L'idea principale alla base di π0.7 è usare un condizionamento di contesto diversificato durante l'addestramento. Questa informazione di condizionamento, contenuta nel prompt, permette di guidare il modello con precisione perché svolga molti compiti con strategie diverse. Il modello è condizionato non solo da un comando linguistico che descrive cosa deve fare, ma anche da informazioni multimodali aggiuntive che descrivono il modo o la strategia con cui farlo, tra cui metadati sull'esecuzione del compito e immagini di sotto-obiettivo. Ciò consente a π0.7 di usare dati molto diversi, tra cui dimostrazioni, dati potenzialmente subottimali (autonomi), fallimenti compresi, e dati da fonti non robotiche. I nostri esperimenti valutano π0.7 su numerosi compiti con più piattaforme robotiche, in compiti che richiedono velocità e destrezza, capacità di seguire il linguaggio e generalizzazione composizionale dei compiti.

Link

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
Pagina del progetto: https://www.pi.website/blog/pi07