π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Autoren: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

Warum es wichtig ist

Physical Intelligence hat seine früheren Modelle π0 und π0.5 als offenen Code mit offenen Gewichten im Repository openpi veröffentlicht, und π0.7 ist das neueste Modell dieser Reihe. Sein Argument betrifft die Daten, nicht die Architektur: Wenn jede Trainingsepisode damit beschriftet ist, wie sie ausgeführt wurde (ihr Tempo, ihre Qualität, ob sie einen Fehler enthielt, und ein Bild des nächsten Zwischenziels), dann ziehen fehlgeschlagene Durchläufe, autonome Rollouts früherer Modelle, andere Roboter und Videos von Menschen die Policy nicht mehr zu durchschnittlichem Verhalten hin, sondern werden zu nutzbaren Trainingsdaten. Die Autoren berichten, dass ein so gepromptetes Checkpoint leistet, wofür bisher ein feinabgestimmter Spezialist pro Aufgabe nötig war, ungewöhnlichen Anweisungen in nie gesehenen Räumen folgt, sich Schritt für Schritt durch neue Aufgaben mit Haushaltsgeräten anleiten lässt und Hemden auf zwei industriellen UR5e-Armen faltet, für die nie Faltdaten gesammelt wurden. Die CoRL 2026 hat das Paper als Oral ausgewählt. Ausführen lässt es sich nicht: π0.7 ist nicht in openpi, und weder Code noch Gewichte noch Daten wurden veröffentlicht. Diese Seite beschreibt daher die Methode und die Belege, die allesamt von den Autoren selbst stammen.

Problem

Robotische Foundation Models werden überwiegend mit guten teleoperierten Demonstrationen trainiert, mit einer kurzen Aufgabenbeschreibung als einzigem Prompt. Damit bleibt ein großer Teil der Daten außen vor, die ein Labor tatsächlich erzeugt: langsamere oder unsauberere Demonstrationen, fehlgeschlagene Episoden, autonome Durchläufe früherer Policies, andere Roboter und Videos von Menschen. Naiv beigemischt, bringen Daten mit unterschiedlichen Strategien und unterschiedlicher Qualität eine Policy dazu, zwischen ihnen zu mitteln und schlechter abzuschneiden. Dieselben Modelle tun sich auch schwer damit, Anweisungen zu folgen, die anders sind als im Training, eine Fertigkeit auf einen Roboter zu übertragen, der sie nie geübt hat, und selbst trainierte geschickte Aufgaben gut auszuführen, ohne für jede einzeln feinabgestimmt zu werden. Das Paper fragt, ob ein reichhaltigerer Prompt all diese Daten nutzbar machen und einem einzigen Modell diese Fähigkeiten ohne aufgabenspezifisches Fine-Tuning verleihen kann.

Lösungsansatz

π0.7 behält das Flow-Matching-Design von π0.6 mit dem Videogedächtnis MEM bei: ein Vision-Language-Backbone Gemma 3 mit 4B Parametern, einen Video-Encoder, der bis zu sechs vergangene Bilder pro Kamera komprimiert, und einen Action-Experten mit 860M Parametern, der Chunks von 50 Aktionen ausgibt, insgesamt rund 5B Parameter. Was sich ändert, ist der Prompt. Neben der Aufgabe kann er den nächsten Teilschritt in Worten enthalten, Zwischenzielbilder, die zeigen, was jede Kamera einige Sekunden später sehen soll, Episoden-Metadaten (Episodenlänge in Stufen von 500 Schritten, eine Qualitätsnote von 1 bis 5 und eine Fehlermarkierung) sowie den Steuerungsmodus, Gelenkraum oder Endeffektor. Jeder Teil wird im Training zufällig weggelassen, sodass zur Testzeit jede Teilmenge funktioniert. Im Betrieb fordern die Metadaten schnelles, erstklassiges und fehlerfreies Verhalten; die Teilschritte kommen von einer High-Level-Policy auf Basis desselben Modells oder von einer Person, die das Modell anleitet; die Zwischenzielbilder kommen von einem Weltmodell, das aus dem Bildmodell BAGEL mit 14B Parametern feinabgestimmt wurde und alle 4 Sekunden oder bei jedem neuen Teilschritt aktualisiert wird. Classifier-free Guidance auf den Metadaten treibt die Aktionen zusätzlich zu schneller, sauberer Ausführung.

Wichtigste Erkenntnisse

Wird jede Episode mit Tempo, Qualität und Fehlern beschriftet, werden fehlgeschlagene und autonome Durchläufe zu nützlichen Trainingsdaten; zur Testzeit wird das Modell einfach um schnelles, erstklassiges und fehlerfreies Verhalten gebeten
Rollouts von π0.6*-Spezialisten, die mit Reinforcement Learning trainiert wurden, lassen sich so in den Generalisten destillieren: Ohne die autonomen Evaluationsdaten oder ohne die Metadaten sanken die Ergebnisse bei denselben Aufgaben, am stärksten beim Durchsatz
Zwischenzielbilder aus einem separaten Weltmodell helfen dort am meisten, wo Sprache allein am schwächsten ist: bei Anweisungen, die gegen Gewohnheiten in den Daten gehen, und beim Übertragen einer Aufgabe auf einen Roboter mit anderem Körperbau
Ein Modell, das Sprache genau folgt, lässt sich Schritt für Schritt durch eine neue lange Aufgabe anleiten, und mit diesen Anleitungssitzungen lässt sich dann eine High-Level-Policy trainieren, die die Aufgabe ohne Person und ohne neue teleoperierte Daten ausführt
Die Übertragung auf einen sehr anderen Roboter bedeutete, die Strategie zu ändern, nicht Bewegungen zu kopieren: Auf den größeren UR5e-Armen griff die Policy Stoff senkrecht statt mit dem schrägen Griff, den Operatoren am Quellroboter nutzen, und packte ein Hemd mit einem Arm statt mit zweien in eine Tüte

Hauptergebnisse

Beim Falten eines T-Shirts auf einem bimanualen UR5e-System ohne Wäschedaten für diesen Roboter erreichte π0.7 mit erzeugten Zwischenzielbildern 85,6 % Aufgabenfortschritt und 80 % Erfolgsquote, gegenüber 90,9 % und 80,6 % für 10 erfahrene Teleoperatoren (im Schnitt etwa 375 Stunden Erfahrung) bei ihren ersten Versuchen, insgesamt 30 Durchgänge
Bei den vier Aufgaben aus der Veröffentlichung von π0.6* (zwei Wäscheaufgaben, Espresso und Kartonfalten) erreichte ein einziger π0.7-Checkpoint die Erfolgsquoten der aufgabenspezifischen RL-Spezialisten (Reinforcement Learning) und hatte bei vielfältiger Wäsche und beim Kartonfalten einen höheren Durchsatz; bei sechs weiteren geschickten Aufgaben erreichte er feinabgestimmte π0.6-Spezialisten
In 14 Szenarien zur Befolgung von Anweisungen mit 3 bis 6 Schritten in 4 ungesehenen Küchen und 2 ungesehenen Schlafzimmern befolgte π0.7 einen deutlich größeren Anteil der Anweisungen als π0.5 und π0.6; das Paper zeigt dies als Diagramm ohne gedruckte Werte
In der Studie zur Datenqualität zeigten 8 Modelle, trainiert auf den besten 30 %, den besten 50 %, den besten 80 % und allen Wäschedaten, dass sich π0.7 mit Metadaten mit wachsender Datenmenge verbesserte, während die Version ohne Metadaten schlechter wurde
Die Autoren beziffern den Erfolg bei gesehenen Aufgaben oft auf über 90 % und bei ungesehenen Aufgaben oder ungesehenen Kombinationen aus Aufgabe und Roboter auf 60 bis 80 %. Die Inferenz dauert in der minimalen Konfiguration 38 ms und mit Gedächtnis und Zwischenzielbildern bis zu 127 ms auf einer NVIDIA H100; jedes Zwischenzielbild braucht 1,25 Sekunden auf 4 H100-GPUs

Einschränkungen

Kein Code, keine Gewichte, keine Daten: Stand 8. November 2026 enthält openpi nur die Checkpoints von π0, π0-FAST und π0.5, die Hugging-Face-Organisation von Physical Intelligence nur den FAST-Tokenizer und zwei Datensätze, und offene Fragen im openpi-Repository zur Veröffentlichung von π0.6 und π0.7 hat das Team nicht beantwortet. Die im Oktober 2026 angekündigte Beta der Pi API bietet die neuesten Modelle des Unternehmens für gehostetes Fine-Tuning auf Antrag an, ohne π0.7 zu nennen
Die meisten Ergebnisse sind Balkendiagramme ohne gedruckte Werte, zu Aufgaben, Robotern und Bewertungsschemata der Autoren selbst; die einzigen genauen Zahlen im Text sind der Vergleich beim Hemdfalten mit Teleoperatoren und die Laufzeiten
Weder Umfang noch Zusammensetzung der Trainingsdaten werden angegeben, ebenso wenig die Trainingsrechenleistung, sodass sich die Aussagen zur Datenvielfalt weder prüfen noch wiederholen lassen
Die Autoren schreiben, dass sich in einem so großen Datensatz schwer sagen lässt, welche Testaufgaben wirklich ungesehen sind, und ungesehene Aufgaben gelingen zu 60 bis 80 % gegenüber oft über 90 % bei gesehenen; eine lange neue Aufgabe wie das Garen einer Süßkartoffel in einer Heißluftfritteuse gelang mit einem einzigen Prompt nicht und erforderte schrittweise Anleitung
Das gesamte System braucht Rechenzentrumshardware: eine NVIDIA H100 für die Policy und die High-Level-Policy sowie 4 H100-GPUs für das Weltmodell mit 14B Parametern, das die Zwischenzielbilder erzeugt

Wirkung auf das Fachgebiet

Die zentrale These des Papers lautet, dass das Prompt-Design und nicht eine neue Architektur es einem robotischen Foundation Model erlaubt, Daten gemischter Qualität zu nutzen und Fertigkeiten neu zu kombinieren. Die kontrollierten Experimente stützen den Datenteil am direktesten: Mit Metadaten verbesserte sich das Modell mit mehr Wäschedaten weiter, obwohl die durchschnittliche Qualität der Daten sank, während dasselbe Modell ohne Metadaten schlechter wurde; das Entfernen des Fünftels der Daten mit der größten Aufgabenvielfalt schadete bei ungesehenen Aufgaben mehr als das Entfernen eines zufälligen Fünftels. Das Cross-Embodiment-Ergebnis ist das auffälligste: Auf UR5e-Armen ohne Wäschedaten kam das Modell nahe an erfahrene Teleoperatoren heran, die diesen Roboter zum ersten Mal bedienten. Die Autoren merken selbst an, dass bei so vielen Daten schwer zu sagen ist, welche Aufgaben wirklich ungesehen sind. Da weder Modell noch Daten öffentlich sind, können andere das Rezept übernehmen, also Episoden nach Qualität und Tempo beschriften und auf Zwischenzielbilder konditionieren, die Ergebnisse aber nicht überprüfen; vor allem zeigt das Paper, wohin Physical Intelligence seine Modelle seit den offenen π0 und π0.5 entwickelt hat.

Zusammenfassung

Wir stellen ein neues robotisches Foundation Model namens π0.7 vor, das in einer Vielzahl von Szenarien starke Leistung ohne weitere Anpassung ermöglicht. π0.7 kann vielfältigen sprachlichen Anweisungen in unbekannten Umgebungen folgen, auch mehrstufigen Aufgaben mit verschiedenen Küchengeräten, bietet Zero-Shot-Cross-Embodiment-Generalisierung, die es etwa einem Roboter ermöglicht, Wäsche zu falten, ohne die Aufgabe je gesehen zu haben, und führt anspruchsvolle Aufgaben wie die Bedienung einer Espressomaschine ohne Weiteres auf einem Niveau aus, das dem deutlich spezialisierterer, mit Reinforcement Learning feinabgestimmter Modelle entspricht. Die Grundidee hinter π0.7 ist eine vielfältige Kontextkonditionierung während des Trainings. Diese im Prompt enthaltene Konditionierungsinformation macht es möglich, das Modell präzise zu steuern, sodass es viele Aufgaben mit unterschiedlichen Strategien ausführt. Es wird nicht nur auf einen Sprachbefehl konditioniert, der beschreibt, was es tun soll, sondern auch auf zusätzliche multimodale Informationen, die beschreiben, auf welche Weise oder mit welcher Strategie es dies tun soll, darunter Metadaten zur Aufgabenausführung und Zwischenzielbilder. Dadurch kann π0.7 sehr vielfältige Daten nutzen, darunter Demonstrationen, potenziell suboptimale (autonome) Daten einschließlich Fehlschlägen und Daten aus Quellen außerhalb der Robotik. Unsere Experimente evaluieren π0.7 über zahlreiche Aufgaben mit mehreren Roboterplattformen hinweg, bei Aufgaben, die Tempo und Geschick, Sprachbefolgung und kompositionelle Aufgabengeneralisierung erfordern.

Open Source Robotics