π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

著者: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

重要な理由

Physical Intelligence は以前のモデルである π0 と π0.5 を、openpi リポジトリでコードと重みを公開する形でリリースしており、π0.7 はその系譜の最新モデルです。この論文の主張はアーキテクチャではなくデータに関するものです。各学習エピソードに、それがどのように行われたか（速度、品質、ミスの有無、次の中間目標の画像）をラベル付けすれば、失敗した実行、以前のモデルによる自律実行、ほかのロボット、人の動画が方策を平均的な振る舞いへ引き寄せることはなくなり、使える学習データになるというものです。著者らによると、このようにプロンプトを与えた一つのチェックポイントは、これまでタスクごとにファインチューニングした専用モデルが必要だったことをこなし、見たことのない部屋で珍しい指示に従い、新しい家電のタスクを一歩ずつ言葉で教わりながら実行し、たたみのデータを一度も収集していない二本の産業用 UR5e アームでシャツをたたみます。CoRL 2026 はこの論文を口頭発表に選びました。読者が実行することはできません。π0.7 は openpi に含まれておらず、コード、重み、データのいずれも公開されていないため、このページでは手法と根拠を扱います。根拠はすべて著者ら自身の報告です。

課題

ロボット向け基盤モデルは主に良質な遠隔操作デモンストレーションで学習され、プロンプトは短いタスク説明だけです。そのため、研究室が実際に生み出すデータの多く、つまり遅かったり雑だったりするデモンストレーション、失敗したエピソード、以前の方策による自律実行、ほかのロボット、人の動画が使われずに残ります。単純に混ぜると、戦略や品質の異なるデータによって方策がそれらの平均を取るようになり、性能が下がります。同じモデルは、学習時と異なる指示に従うこと、練習したことのないロボットへスキルを移すこと、さらには学習済みの器用なタスクでさえタスクごとにファインチューニングしなければうまくこなすことに苦労します。この論文は、より豊かなプロンプトによってこれらのデータをすべて活用でき、一つのモデルがタスクごとのファインチューニングなしにこうした能力を得られるかを問います。

提案手法

π0.7 は、π0.6 に MEM の動画メモリを組み合わせたフローマッチングの設計を引き継いでいます。4B パラメータの Gemma 3 による視覚・言語バックボーン、カメラごとに過去最大六フレームを圧縮する動画エンコーダ、そして 50 個の行動のチャンクを出力する 860M パラメータの行動エキスパートで、合計約 5B パラメータです。変わるのはプロンプトです。タスクに加えて、次のサブタスクを言葉で示したもの、各カメラが数秒後に見るべき光景を示すサブゴール画像、エピソードのメタデータ（エピソード長を 500 ステップ刻みで区分したもの、1 から 5 の品質スコア、ミスのフラグ）、そして関節空間かエンドエフェクタかという制御モードを含められます。学習時には各要素がランダムに落とされるため、テスト時にはどの組み合わせでも動作します。実行時には、メタデータで速く、最高品質で、ミスのない振る舞いを指定します。サブタスクは同じモデルを基にした上位方策か、指導する人から与えられ、サブゴール画像は 14B の画像モデル BAGEL をファインチューニングした世界モデルが生成し、4 秒ごと、または新しいサブタスクのたびに更新されます。メタデータに分類器不要ガイダンス（classifier-free guidance）をかけることで、行動をさらに速く、きれいな実行へと導きます。

主な知見

各エピソードに速度、品質、ミスをラベル付けすると、失敗した実行や自律実行が有用な学習データになります。テスト時には、速く、最高品質で、ミスのない振る舞いをモデルに求めるだけです
強化学習で訓練した π0.6* 専用モデルの実行データは、この方法で汎用モデルに蒸留できます。自律評価データを除いた場合も、メタデータを除いた場合も、同じタスクでの結果が下がり、特にスループットが落ちました
別の世界モデルによるサブゴール画像は、言語だけでは最も弱いところで最も役立ちます。データの習慣に反する指示や、体の構造が異なるロボットへタスクを移す場合です
言語に忠実に従うモデルは、新しい長いタスクを一歩ずつ指導しながら実行させることができ、その指導セッションを使って、人がいなくても、新たな遠隔操作データなしでタスクを実行する上位方策を学習できます
大きく異なるロボットへの移行は、動きを真似ることではなく戦略を変えることを意味しました。背の高い UR5e アームでは、方策は移行元のロボットで操作者が使う斜めのつかみ方ではなく布を垂直につかみ、シャツを袋に入れる作業も二本ではなく一本のアームで行いました

主な結果

洗濯物のデータがない双腕 UR5e システムで T シャツをたたむ課題で、生成したサブゴール画像を使う π0.7 はタスク進捗 85.6%、成功率 80% に達しました。10 人の熟練遠隔操作者（平均約 375 時間の経験）の初回の試行は 90.9% と 80.6% で、試行は計 30 回です
π0.6* の発表時の四つのタスク（洗濯物二種、エスプレッソ、箱の組み立て）で、一つの π0.7 チェックポイントがタスクごとの強化学習専用モデルの成功率に並び、多様な洗濯物と箱の組み立てではスループットで上回りました。さらに六つの器用なタスクでは、ファインチューニング済みの π0.6 専用モデルに並びました
未見のキッチン 4 か所と寝室 2 か所での、3 から 6 ステップの指示に従う 14 のシナリオで、π0.7 は π0.5 や π0.6 より明らかに多くの指示に従いました。論文はこれを数値の記載のないグラフで示しています
データ品質の調査では、洗濯物データの上位 30%、上位 50%、上位 80%、全体でそれぞれ学習した 8 つのモデルにより、メタデータありの π0.7 はデータが増えるほど改善し、メタデータなしの版は悪化することが示されました
著者らは、既知タスクの成功率はしばしば 90% を超え、未見タスクや未見のタスクとロボットの組み合わせでは 60 から 80% としています。推論は最小構成で 38 ms、メモリとサブゴール画像を加えると NVIDIA H100 一枚で最大 127 ms かかり、サブゴール画像一枚の生成には H100 GPU 4 枚で 1.25 秒かかります

制限事項

コード、重み、データはありません。2026年11月8日時点で、openpi にあるのは π0、π0-FAST、π0.5 のチェックポイントだけで、Physical Intelligence の Hugging Face 組織にあるのは FAST トークナイザーと二つのデータセットのみです。openpi リポジトリで π0.6 と π0.7 の公開について寄せられた質問にも、チームからの回答はありません。2026年10月に発表された Pi API のベータ版は、同社の最新モデルによるホスト型ファインチューニングを申請制で提供していますが、π0.7 の名前は挙げていません
結果の大半は数値の記載がない棒グラフで、タスク、ロボット、採点基準はいずれも著者ら独自のものです。本文中の正確な数値は、遠隔操作者とのシャツたたみの比較と処理時間だけです
学習データの規模も構成も、学習に使った計算資源も示されていないため、データの多様性に関する主張は検証も再現もできません
著者らは、これほど大きなデータセットではどのテストタスクが本当に未見なのか見分けにくいと述べており、未見タスクの成功率は 60 から 80% で、既知タスクのしばしば 90% 超を下回ります。エアフライヤーでサツマイモを調理するような新しい長いタスクは、一つのプロンプトではうまくいかず、一歩ずつの指導が必要でした
システム全体の実行にはデータセンター級のハードウェアが必要です。方策と上位方策に NVIDIA H100 一枚、サブゴール画像を生成する 14B の世界モデルに H100 GPU 4 枚を使います

分野への影響

この論文の主張は、ロボット向け基盤モデルが品質のばらつくデータを活用し、スキルを組み替え始められるのは、新しいアーキテクチャではなくプロンプトの設計によるというものです。対照実験が最も直接的に裏付けるのはデータの部分です。メタデータありでは、洗濯物のデータを増やすほど、データの平均品質が下がってもモデルは改善し続けましたが、メタデータなしの同じモデルは悪化しました。また、タスクの多様性が最も高い五分の一のデータを除くと、ランダムに五分の一を除いた場合より未見タスクへの悪影響が大きくなりました。最も目を引くのはクロスエンボディメントの結果で、洗濯物のデータがない UR5e アームで、モデルはそのロボットを初めて操作する熟練の遠隔操作者に迫りました。著者ら自身、これほどのデータ量では、どのタスクが本当に未見なのかを言うのは難しいと述べています。モデルもデータも公開されていないため、ほかの人はエピソードを品質と速度でラベル付けし、サブゴール画像に条件付けるという手法を取り入れることはできても、結果を検証することはできません。この論文が主に示すのは、公開された π0 と π0.5 以降、Physical Intelligence がモデルをどの方向へ進めてきたかです。

概要

本研究では、幅広いシナリオで追加の調整なしに高い性能を発揮できる新しいロボット向け基盤モデル π0.7 を提示します。π0.7 は、さまざまなキッチン家電を使う多段階タスクを含め、未知の環境で多様な言語指示に従うことができ、ゼロショットのクロスエンボディメント汎化を実現します。たとえば、そのタスクを一度も見たことのないロボットに洗濯物をたたませることができます。また、エスプレッソマシンの操作のような難しいタスクを追加の調整なしに、はるかに専門化された強化学習によるファインチューニング済みモデルに匹敵する性能でこなします。π0.7 の中心となる考え方は、学習時に多様なコンテキスト条件付けを用いることです。プロンプトに含まれるこの条件付け情報によって、モデルを精密に操り、さまざまな戦略で多くのタスクを実行させることができます。モデルは、何をすべきかを記述する言語コマンドだけでなく、それをどのような方法や戦略で行うべきかを記述する追加のマルチモーダル情報、たとえばタスク遂行に関するメタデータやサブゴール画像にも条件付けられます。これにより π0.7 は、デモンストレーション、失敗を含む最適とは限らない（自律）データ、ロボット以外の情報源からのデータなど、非常に多様なデータを利用できます。実験では、速度と器用さ、言語への追従、構成的なタスク汎化を必要とするタスクにおいて、複数のロボットプラットフォーム上の数多くのタスクで π0.7 を評価します。

リンク

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
プロジェクトページ: https://www.pi.website/blog/pi07