π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

Autores: Physical Intelligence, Bo Ai, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Greg Balke, Kevin Black, George Bokinsky, Shihao Cao, Thomas Charbonnier, Vedant Choudhary, Foster Collins, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Maitrayee Dhaka, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachlan Groom, Haroun Habeeb, Hunter Hancock, Karol Hausman, Gashon Hussein, Victor Hwang, Brian Ichter, Connor Jacobsen, Szymon Jakubczak, Rowan Jen, Tim Jones, Gregg Kammerer, Ben Katz, Liyiming Ke, Mairbek Khadikov, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Brendon LeCount, Sergey Levine, Xinyu Li, Adrian Li-Bell, Vladislav Lialin, Zhonglin Liang, Wallace Lim, Yao Lu, Enyu Luo, Vishnu Mano, Nandan Marwaha, Aikys Mongush, Liam Murphy, Suraj Nair, Tyler Patterson, Karl Pertsch, Allen Z. Ren, Gavin Schelske, Charvi Sharma, Baifeng Shi, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Jiaming Tang, Jimmy Tanner, Shalom Tekeste, Marcel Torne, Kyle Vedder, Quan Vuong, Anna Walling, Haohuan Wang, Jason Wang, XuDong Wang, Chris Whalen, Samuel Whitmore, Blake Williams, Charles Xu, Sukwon Yoo, Lili Yu, Wuming Zhang, Zhuoyang Zhang, Ury Zhilinsky · CoRL 2026 2026

Por qué importa

Physical Intelligence publicó sus modelos anteriores, π0 y π0.5, con código y pesos abiertos en su repositorio openpi, y π0.7 es el modelo más reciente de esa línea. Su argumento trata de los datos, no de la arquitectura: si cada episodio de entrenamiento se etiqueta con cómo se realizó (su velocidad, su calidad, si contenía un error y una imagen del siguiente objetivo intermedio), entonces las ejecuciones fallidas, los rollouts autónomos de modelos anteriores, otros robots y el vídeo de personas dejan de arrastrar la política hacia un comportamiento promedio y se convierten en datos de entrenamiento útiles. Los autores informan de que un único checkpoint guiado así hace lo que antes requería un especialista ajustado para cada tarea, sigue instrucciones inusuales en habitaciones que nunca ha visto, puede ser guiado paso a paso en tareas nuevas con electrodomésticos y dobla camisas con dos brazos industriales UR5e para los que nunca se recogieron datos de doblado. CoRL 2026 seleccionó el artículo como oral. Los lectores no pueden ejecutarlo: π0.7 no está en openpi y no se ha publicado código, pesos ni datos, así que esta página trata del método y de la evidencia, toda ella aportada por los autores.

Problema

Los modelos fundacionales robóticos se entrenan sobre todo con buenas demostraciones teleoperadas y una breve descripción de la tarea como único prompt. Eso deja fuera gran parte de los datos que un laboratorio produce de verdad: demostraciones más lentas o descuidadas, episodios fallidos, ejecuciones autónomas de políticas anteriores, otros robots y vídeo de personas. Mezclados sin más, los datos con estrategias y calidades distintas hacen que una política promedie entre ellos y rinda peor. Esos mismos modelos también tienen dificultades para seguir instrucciones distintas de las del entrenamiento, para llevar una habilidad a un robot que nunca la ha practicado y para hacer bien incluso tareas diestras entrenadas sin un ajuste fino para cada una. El artículo se pregunta si un prompt más rico puede volver útiles todos esos datos y dar a un solo modelo estas capacidades sin ajuste fino por tarea.

Solución propuesta

π0.7 conserva el diseño de flow matching de π0.6 con la memoria de vídeo MEM: un backbone de visión-lenguaje Gemma 3 de 4B parámetros, un codificador de vídeo que comprime hasta seis fotogramas pasados por cámara y un experto de acción de 860M parámetros que genera bloques de 50 acciones, unos 5B parámetros en total. Lo que cambia es el prompt. Además de la tarea, puede incluir el siguiente subpaso en palabras, imágenes de subobjetivo que muestran lo que cada cámara debería ver unos segundos después, metadatos del episodio (la duración del episodio en tramos de 500 pasos, una puntuación de calidad de 1 a 5 y una marca de error) y el modo de control, por articulación o por efector final. Cada parte se omite al azar durante el entrenamiento, de modo que cualquier subconjunto funciona en la prueba. En ejecución, los metadatos piden un comportamiento rápido, de máxima calidad y sin errores; los subpasos los da una política de alto nivel construida sobre el mismo modelo o una persona que lo guía; y las imágenes de subobjetivo las genera un modelo del mundo ajustado a partir del modelo de imagen BAGEL de 14B, que se actualiza cada 4 segundos o con cada nuevo subpaso. La guía sin clasificador (classifier-free guidance) sobre los metadatos empuja además las acciones hacia una ejecución rápida y limpia.

Ideas clave

Etiquetar cada episodio con su velocidad, su calidad y sus errores convierte las ejecuciones fallidas y autónomas en datos de entrenamiento útiles; en la prueba basta con pedir al modelo un comportamiento rápido, de máxima calidad y sin errores
Así se pueden destilar en el generalista los rollouts de especialistas π0.6* entrenados con aprendizaje por refuerzo: sin los datos de evaluación autónoma, o sin los metadatos, los resultados en las mismas tareas bajaron, sobre todo en rendimiento por hora
Las imágenes de subobjetivo de un modelo del mundo aparte ayudan más donde el lenguaje solo es más débil: instrucciones que van contra los hábitos de los datos y el traslado de una tarea a un robot con un cuerpo distinto
Un modelo que sigue el lenguaje con precisión puede ser guiado paso a paso en una tarea larga nueva, y esas sesiones de guía sirven luego para entrenar una política de alto nivel que ejecuta la tarea sin una persona y sin nuevos datos teleoperados
Transferir a un robot muy distinto supuso cambiar de estrategia, no copiar movimientos: en los brazos UR5e, más altos, la política agarró la tela en vertical en lugar de con el agarre inclinado que usan los operadores en el robot de origen, y metió una camisa en la bolsa con un brazo en lugar de dos

Resultados principales

Al doblar una camiseta en un sistema UR5e bimanual sin datos de ropa para ese robot, π0.7 con imágenes de subobjetivo generadas alcanzó un 85,6 % de progreso en la tarea y un 80 % de éxito, frente al 90,9 % y el 80,6 % de 10 teleoperadores expertos (unas 375 horas de experiencia de media) en sus primeros intentos, 30 ensayos en total
En las cuatro tareas del lanzamiento de π0.6* (dos de ropa, espresso y montaje de cajas), un único checkpoint de π0.7 igualó las tasas de éxito de los especialistas con aprendizaje por refuerzo de cada tarea y tuvo mayor rendimiento por hora en ropa variada y en montaje de cajas; en otras seis tareas diestras igualó a especialistas π0.6 ajustados
En 14 escenarios de seguimiento de instrucciones de 3 a 6 pasos en 4 cocinas y 2 dormitorios no vistos, π0.7 siguió una proporción claramente mayor de instrucciones que π0.5 y π0.6; el artículo lo muestra en un gráfico sin valores impresos
En el estudio de calidad de datos, 8 modelos entrenados con el mejor 30 %, el mejor 50 %, el mejor 80 % y todos los datos de ropa mostraron que π0.7 con metadatos mejoraba al crecer los datos, mientras que la versión sin metadatos empeoraba
Los autores sitúan el éxito en tareas vistas a menudo por encima del 90 % y en tareas no vistas o combinaciones de tarea y robot no vistas entre el 60 y el 80 %. La inferencia tarda 38 ms en la configuración mínima y hasta 127 ms con memoria e imágenes de subobjetivo en una NVIDIA H100; cada imagen de subobjetivo tarda 1,25 segundos en 4 GPU H100

Limitaciones

Sin código, pesos ni datos: a 8 de noviembre de 2026, openpi solo contiene los checkpoints de π0, π0-FAST y π0.5, la organización de Physical Intelligence en Hugging Face solo el tokenizador FAST y dos conjuntos de datos, y las preguntas abiertas en el repositorio openpi sobre la publicación de π0.6 y π0.7 no tienen respuesta del equipo. La beta de la Pi API anunciada en octubre de 2026 ofrece los modelos más recientes de la empresa para ajuste fino alojado previa solicitud, sin mencionar π0.7
La mayoría de los resultados son gráficos de barras sin valores impresos, sobre tareas, robots y rúbricas de puntuación de los propios autores; las únicas cifras exactas del texto son la comparación de doblado de camisas con teleoperadores y los tiempos
No se indica ni el tamaño ni la composición de los datos de entrenamiento, ni el cómputo de entrenamiento, por lo que las afirmaciones sobre la diversidad de los datos no se pueden comprobar ni repetir
Los autores dicen que en un conjunto de datos tan grande es difícil saber qué tareas de prueba son realmente no vistas, y las tareas no vistas tienen éxito entre el 60 y el 80 % frente a a menudo más del 90 % en las vistas; una tarea nueva larga como cocinar un boniato en una freidora de aire no funcionó con un único prompt y necesitó guía paso a paso
Ejecutar el sistema completo requiere hardware de centro de datos: una NVIDIA H100 para la política y la política de alto nivel, y 4 GPU H100 para el modelo del mundo de 14B que genera las imágenes de subobjetivo

Impacto en el campo

La tesis del artículo es que el diseño del prompt, y no una arquitectura nueva, permite a un modelo fundacional robótico aprovechar datos de calidad mixta y empezar a recombinar habilidades. Sus experimentos controlados respaldan sobre todo la parte de los datos: con metadatos, añadir más datos de ropa siguió mejorando el modelo aunque la calidad media de los datos bajaba, mientras que el mismo modelo sin metadatos empeoraba; quitar la quinta parte de los datos con más diversidad de tareas perjudicó más a las tareas no vistas que quitar una quinta parte al azar. El resultado de cross-embodiment es el más llamativo: en brazos UR5e sin datos de ropa, el modelo se acercó a teleoperadores expertos que manejaban ese robot por primera vez. Los propios autores señalan que, con tantos datos, es difícil decir qué tareas son realmente no vistas. Como ni el modelo ni los datos son públicos, otros pueden adoptar la receta, etiquetando episodios por calidad y velocidad y condicionando en imágenes de subobjetivo, pero no pueden verificar los resultados; el artículo muestra sobre todo hacia dónde ha llevado Physical Intelligence sus modelos desde los abiertos π0 y π0.5.

Resumen

Presentamos un nuevo modelo fundacional robótico, llamado π0.7, que permite un rendimiento sólido de serie en una amplia variedad de escenarios. π0.7 puede seguir instrucciones lingüísticas diversas en entornos no vistos, incluidas tareas de varias etapas con distintos electrodomésticos de cocina, ofrecer generalización cross-embodiment zero-shot, por ejemplo permitiendo que un robot doble ropa sin haber visto antes la tarea, y realizar tareas exigentes como manejar una máquina de espresso de serie con un nivel de rendimiento que iguala al de modelos mucho más especializados ajustados con aprendizaje por refuerzo. La idea principal de π0.7 es usar un condicionamiento de contexto diverso durante el entrenamiento. Esta información de condicionamiento, contenida en el prompt, permite dirigir el modelo con precisión para que realice muchas tareas con estrategias diferentes. El modelo se condiciona no solo en una orden lingüística que describe qué debe hacer, sino en información multimodal adicional que describe también la manera o estrategia con la que debe hacerlo, incluidos metadatos sobre el desempeño de la tarea e imágenes de subobjetivo. Esto permite a π0.7 usar datos muy diversos, incluidas demostraciones, datos potencialmente subóptimos (autónomos) con fallos incluidos y datos de fuentes no robóticas. Nuestros experimentos evalúan π0.7 en numerosas tareas con múltiples plataformas robóticas, en tareas que requieren velocidad y destreza, seguimiento del lenguaje y generalización composicional de tareas.

Enlaces

arXiv 2604.15483: https://arxiv.org/abs/2604.15483
PDF: https://arxiv.org/pdf/2604.15483
Página del proyecto: https://www.pi.website/blog/pi07