π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

저자: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

중요한 이유

Physical Intelligence는 이전 모델인 π0과 π0.5를 openpi 저장소에서 코드와 가중치를 공개하는 방식으로 내놓았고, π0.7은 그 계보의 최신 모델입니다. 이 논문의 주장은 아키텍처가 아니라 데이터에 관한 것입니다. 모든 학습 에피소드에 그것이 어떻게 수행되었는지(속도, 품질, 실수 여부, 다음 중간 목표의 이미지)를 레이블로 붙이면, 실패한 실행, 이전 모델의 자율 실행, 다른 로봇, 사람 영상이 더 이상 정책을 평균적인 행동 쪽으로 끌어당기지 않고 쓸모 있는 학습 데이터가 된다는 것입니다. 저자들에 따르면 이렇게 프롬프트를 받은 하나의 체크포인트가 예전에는 작업마다 미세 조정한 전용 모델이 필요했던 일을 해내고, 처음 보는 방에서 특이한 지시를 따르며, 새로운 가전 작업을 한 단계씩 말로 안내받아 수행하고, 개기 데이터를 한 번도 수집하지 않은 산업용 UR5e 로봇 팔 두 대로 셔츠를 갭니다. CoRL 2026은 이 논문을 구두 발표로 선정했습니다. 독자가 직접 실행할 수는 없습니다. π0.7은 openpi에 없고 코드, 가중치, 데이터 모두 공개되지 않았으므로, 이 페이지는 방법과 근거를 다루며 그 근거는 모두 저자들이 보고한 것입니다.

문제

로봇 파운데이션 모델은 주로 좋은 원격 조작 시연 데이터로 학습하며, 프롬프트는 짧은 작업 설명 하나뿐입니다. 그러다 보니 연구실이 실제로 만들어 내는 데이터의 상당 부분, 즉 더 느리거나 서툰 시연, 실패한 에피소드, 이전 정책의 자율 실행, 다른 로봇, 사람 영상이 빠지게 됩니다. 이런 데이터를 단순히 섞으면 전략과 품질이 서로 다른 데이터 때문에 정책이 그 사이의 평균을 내게 되어 성능이 떨어집니다. 같은 모델들은 학습 때와 다른 지시를 따르는 것, 연습한 적 없는 로봇으로 기술을 옮기는 것, 그리고 학습한 손재주 작업조차 작업마다 미세 조정하지 않고 잘 해내는 것도 어려워합니다. 이 논문은 더 풍부한 프롬프트가 이 모든 데이터를 쓸모 있게 만들고, 하나의 모델이 작업별 미세 조정 없이 이런 능력을 갖추게 할 수 있는지를 묻습니다.

제안 방법

π0.7은 π0.6에 MEM 영상 메모리를 결합한 플로 매칭 설계를 이어받습니다. 4B 파라미터의 Gemma 3 비전-언어 백본, 카메라마다 과거 최대 여섯 프레임을 압축하는 영상 인코더, 그리고 50개 행동 단위의 청크를 출력하는 860M 파라미터 행동 전문가로 이루어져 모두 약 5B 파라미터입니다. 달라지는 것은 프롬프트입니다. 작업 외에도 다음 하위 작업을 말로 설명한 것, 각 카메라가 몇 초 뒤에 보아야 할 장면을 보여 주는 하위 목표 이미지, 에피소드 메타데이터(에피소드 길이를 500 스텝 단위로 나눈 구간, 1에서 5까지의 품질 점수, 실수 표시), 그리고 관절 공간인지 엔드 이펙터인지를 나타내는 제어 모드를 담을 수 있습니다. 학습 중 각 요소를 무작위로 빼기 때문에 테스트 때는 어떤 조합이든 작동합니다. 실행 시에는 메타데이터로 빠르고 최고 품질이며 실수 없는 행동을 요청하고, 하위 작업은 같은 모델을 바탕으로 한 상위 정책이나 모델을 안내하는 사람이 제공하며, 하위 목표 이미지는 14B 이미지 모델 BAGEL을 미세 조정한 월드 모델이 생성해 4초마다 또는 새 하위 작업마다 갱신합니다. 메타데이터에 분류기 없는 가이던스(classifier-free guidance)를 적용하면 행동을 더욱 빠르고 깔끔한 실행 쪽으로 밀어 줍니다.

핵심 통찰

각 에피소드에 속도, 품질, 실수를 레이블로 붙이면 실패한 실행과 자율 실행이 유용한 학습 데이터가 됩니다. 테스트 때는 모델에게 빠르고 최고 품질이며 실수 없는 행동을 요청하기만 하면 됩니다
강화 학습으로 훈련한 π0.6* 전용 모델의 실행 데이터를 이런 방식으로 범용 모델에 증류할 수 있습니다. 자율 평가 데이터를 빼거나 메타데이터를 빼면 같은 작업에서 결과가 떨어졌고, 특히 처리량이 크게 줄었습니다
별도의 월드 모델이 만든 하위 목표 이미지는 언어만으로는 가장 약한 곳에서 가장 큰 도움이 됩니다. 데이터의 습관을 거스르는 지시, 그리고 몸 구조가 다른 로봇으로 작업을 옮기는 경우입니다
언어를 충실히 따르는 모델은 새로운 긴 작업을 한 단계씩 안내받으며 수행할 수 있고, 그 안내 세션으로 사람 없이도, 새로운 원격 조작 데이터 없이도 작업을 수행하는 상위 정책을 학습할 수 있습니다
아주 다른 로봇으로 옮기는 일은 동작을 베끼는 것이 아니라 전략을 바꾸는 것이었습니다. 더 큰 UR5e 로봇 팔에서 정책은 조작자가 원래 로봇에서 쓰는 비스듬한 잡기 대신 천을 수직으로 잡았고, 셔츠를 봉투에 넣을 때도 팔 두 개 대신 하나만 썼습니다

주요 결과

빨래 데이터가 없는 양팔 UR5e 시스템에서 티셔츠를 갤 때, 생성된 하위 목표 이미지를 쓰는 π0.7은 작업 진행률 85.6%, 성공률 80%를 기록했습니다. 숙련 원격 조작자 10명(평균 약 375시간 경험)의 첫 시도 결과는 90.9%와 80.6%였고, 시험은 모두 30회였습니다
π0.6* 발표 때의 네 가지 작업(빨래 두 가지, 에스프레소, 상자 조립)에서 하나의 π0.7 체크포인트가 작업별 강화 학습 전용 모델의 성공률과 대등했고, 다양한 빨래와 상자 조립에서는 처리량이 더 높았습니다. 추가로 여섯 가지 손재주 작업에서는 미세 조정된 π0.6 전용 모델과 대등했습니다
처음 보는 주방 4곳과 침실 2곳에서 3~6단계 지시를 따르는 14개 시나리오에 걸쳐, π0.7은 π0.5와 π0.6보다 뚜렷하게 더 많은 지시를 따랐습니다. 논문은 이를 수치가 표시되지 않은 그래프로 보여 줍니다
데이터 품질 연구에서 빨래 데이터의 상위 30%, 상위 50%, 상위 80%, 전체로 각각 학습한 모델 8개는 메타데이터가 있는 π0.7이 데이터가 늘수록 좋아지고, 메타데이터가 없는 버전은 나빠진다는 것을 보여 주었습니다
저자들은 이미 본 작업의 성공률이 흔히 90%를 넘고, 처음 보는 작업이나 처음 보는 작업과 로봇의 조합은 60~80%라고 밝힙니다. 추론은 최소 구성에서 38 ms, 메모리와 하위 목표 이미지를 더하면 NVIDIA H100 한 장에서 최대 127 ms가 걸리며, 하위 목표 이미지 한 장은 H100 GPU 4장에서 1.25초가 걸립니다

한계

코드, 가중치, 데이터가 없습니다. 2026년 11월 8일 기준 openpi에는 π0, π0-FAST, π0.5 체크포인트만 있고, Physical Intelligence의 Hugging Face 조직에는 FAST 토크나이저와 데이터셋 두 개만 있으며, openpi 저장소에 올라온 π0.6과 π0.7 공개 관련 질문에는 팀의 답이 없습니다. 2026년 10월에 발표된 Pi API 베타는 회사의 최신 모델을 신청을 받아 호스팅형 미세 조정으로 제공하지만 π0.7을 명시하지는 않습니다
결과 대부분은 수치가 표시되지 않은 막대그래프이며, 작업, 로봇, 채점 기준 모두 저자들이 직접 정한 것입니다. 본문에 나오는 정확한 수치는 원격 조작자와의 셔츠 개기 비교와 처리 시간뿐입니다
학습 데이터의 규모와 구성도, 학습 연산량도 밝히지 않아 데이터 다양성에 관한 주장은 확인할 수도 재현할 수도 없습니다
저자들은 이렇게 큰 데이터셋에서는 어떤 테스트 작업이 정말 처음 보는 것인지 가리기 어렵다고 말하며, 처음 보는 작업의 성공률은 60~80%로 이미 본 작업의 흔히 90% 이상에 못 미칩니다. 에어프라이어로 고구마를 익히는 것 같은 새로운 긴 작업은 프롬프트 하나로는 되지 않았고 단계별 안내가 필요했습니다
시스템 전체를 돌리려면 데이터센터급 하드웨어가 필요합니다. 정책과 상위 정책에 NVIDIA H100 한 장, 하위 목표 이미지를 만드는 14B 월드 모델에 H100 GPU 4장이 쓰입니다

분야에 미친 영향

이 논문의 주장은 로봇 파운데이션 모델이 품질이 섞인 데이터를 활용하고 기술을 재조합하기 시작할 수 있게 하는 것이 새로운 아키텍처가 아니라 프롬프트 설계라는 것입니다. 통제 실험이 가장 직접적으로 뒷받침하는 것은 데이터 부분입니다. 메타데이터가 있을 때는 빨래 데이터를 더 넣을수록 데이터의 평균 품질이 떨어지는데도 모델이 계속 좋아졌지만, 메타데이터가 없는 같은 모델은 나빠졌습니다. 작업 다양성이 가장 높은 오분의 일 데이터를 빼면 무작위로 오분의 일을 뺄 때보다 처음 보는 작업에 더 큰 타격을 주었습니다. 가장 눈에 띄는 것은 크로스 임바디먼트 결과로, 빨래 데이터가 없는 UR5e 로봇 팔에서 모델은 그 로봇을 처음 다루는 숙련 원격 조작자에 근접했습니다. 저자들 스스로도 데이터가 이렇게 많으면 어떤 작업이 정말 처음 보는 것인지 말하기 어렵다고 지적합니다. 모델도 데이터도 공개되지 않았으므로 다른 사람들은 에피소드에 품질과 속도 레이블을 붙이고 하위 목표 이미지에 조건화하는 방법을 따라 할 수는 있지만 결과를 검증할 수는 없습니다. 이 논문이 주로 보여 주는 것은 공개된 π0과 π0.5 이후 Physical Intelligence가 모델을 어느 방향으로 이끌어 왔는가입니다.

초록

우리는 다양한 시나리오에서 별도 조정 없이 강력한 성능을 낼 수 있는 새로운 로봇 파운데이션 모델 π0.7을 제시합니다. π0.7은 여러 주방 가전을 사용하는 다단계 작업을 포함해 처음 보는 환경에서 다양한 언어 지시를 따를 수 있고, 제로샷 크로스 임바디먼트 일반화를 제공해 예컨대 한 번도 그 작업을 본 적 없는 로봇이 빨래를 개도록 할 수 있으며, 에스프레소 머신 조작 같은 어려운 작업을 별도 조정 없이 훨씬 더 특화된 강화 학습 미세 조정 모델과 맞먹는 수준으로 수행합니다. π0.7의 핵심 아이디어는 학습 중에 다양한 맥락 조건화를 사용하는 것입니다. 프롬프트에 담긴 이 조건화 정보 덕분에 모델을 정밀하게 조종해 여러 작업을 서로 다른 전략으로 수행하게 할 수 있습니다. 모델은 무엇을 해야 하는지 설명하는 언어 명령뿐 아니라, 어떤 방식이나 전략으로 해야 하는지 설명하는 추가적인 멀티모달 정보, 즉 작업 수행에 관한 메타데이터와 하위 목표 이미지에도 조건화됩니다. 이를 통해 π0.7은 시연, 실패를 포함한 최적이 아닐 수 있는 (자율) 데이터, 로봇이 아닌 출처의 데이터 등 매우 다양한 데이터를 활용할 수 있습니다. 실험에서는 속도와 손재주, 언어 따르기, 조합적 작업 일반화가 필요한 작업에서 여러 로봇 플랫폼의 수많은 작업으로 π0.7을 평가합니다.

링크

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
프로젝트 페이지: https://www.pi.website/blog/pi07