RoboTTT: Context Scaling for Robot Policies

Autores: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

Por qué importa

Los modelos fundacionales robóticos actuales, entre ellos GR00T, pi0 y la mayoría de los demás VLA, deciden cada acción a partir de las imágenes actuales de las cámaras y, como mucho, de unas pocas anteriores. No pueden distinguir dos etapas de aspecto parecido de una tarea larga, recordar dónde quedó una pieza cuando está oculta ni aprender de lo que acaba de salir mal. RoboTTT muestra que una política puede llevar consigo unos cinco minutos de su propio historial sin coste extra por acción, y que esa memoria rinde en hardware real: un robot de dos brazos sigue un único vídeo humano para montar un circuito con el que nunca se entrenó, vuelve a intentar un tornillo fallado en lugar de seguir adelante y vuelve a colocar una pieza que una persona retira. El artículo también indica que el rendimiento sigue subiendo cuando el contexto de preentrenamiento crece de 128 pasos temporales a 8K, lo que apunta a la longitud de contexto como eje de escalado junto a los datos y el tamaño del modelo. El método es un conjunto de capas que se añaden a un modelo existente, así que en principio podría acoplarse a otros VLA abiertos. El artículo es finalista de premio y presentación oral en CoRL 2026. Los autores no han publicado código ni pesos, así que por ahora el valor para quien construye robots está en la receta y en las pruebas, no en un modelo para descargar.

Problema

La mayoría de los modelos fundacionales robóticos del estado del arte actúan solo con la observación actual o con una ventana corta de 2 a 8 imágenes anteriores. Las tareas de manipulación largas necesitan más: hay que distinguir etapas de aspecto parecido, recordar objetos que ahora están ocultos, y una política que ha fallado debería usar ese fallo en su siguiente intento. Volver a introducir sin más las imágenes pasadas suele perjudicar, porque la política se aferra a patrones espurios de su propio historial. Los transformadores que atienden a todo el historial se ralentizan a medida que este crece, incluso con caché de claves y valores, y las redes recurrentes clásicas tienen demasiada poca capacidad para comprimir miles de pasos temporales de datos robóticos densos y repetitivos. Ninguna política robótica había mostrado ganancias en lazo cerrado con un contexto de minutos.

Solución propuesta

RoboTTT añade una capa de entrenamiento en tiempo de prueba (TTT) tras las capas de atención en cada una de las 16 capas del cabezal de acción de GR00T N1.7, un transformador de difusión. La atención sigue trabajando dentro de un único paso temporal; las capas TTT trabajan a lo largo del tiempo. Cada capa TTT contiene un pequeño MLP de dos capas cuyos pesos, los pesos rápidos, reciben una actualización de gradiente con cada nueva observación, de modo que el historial se escribe en los pesos y no en una caché que crece, y el coste por acción se mantiene constante. Una compuerta aprendida, que empieza cerca de cero, mezcla la salida TTT en el modelo preentrenado para conservar sus habilidades. El modelo se entrena con trayectorias completas, dando a cada fragmento de acciones su propio nivel de ruido (sequence action forcing), y con retropropagación truncada a través del tiempo para que la memoria no crezca con la longitud de contexto. Como algunos pasos temporales pueden actualizar los pesos rápidos sin ser objetivos de imitación, el mismo modelo aprende de un vídeo humano colocado en su contexto y, con DAgger Distillation, de ejecuciones en las que sus propios errores son el contexto y las correcciones de una persona son los objetivos.

Ideas clave

Los pesos rápidos actualizados por gradiente son mejor memoria para los flujos de datos de un robot que un estado recurrente lineal: con la misma ubicación y el mismo número de parámetros, las capas Gated DeltaNet no ganan nada con un contexto de preentrenamiento más largo, mientras que RoboTTT sigue mejorando
Añadir imágenes pasadas sin más perjudica: GR00T N1.7 con una imagen de historial obtiene un 39,5 % en la tarea Pup Go Car frente al 57 % sin ella, porque capta patrones espurios de su historial
Cada fragmento de acciones de una secuencia de entrenamiento necesita su propio nivel de ruido; con un nivel compartido, el entrenamiento secuencial es inestable y el robot no avanza de forma significativa
Las acciones fallidas de una política no sirven como objetivos de imitación pero valen como contexto: entrenar GR00T N1.7 con ejecuciones DAgger completas da lo mismo que solo con las correcciones, mientras que DAgger Distillation, que usa los fallos solo para actualizar los pesos rápidos, es lo que más gana
El contexto entrenado debe cubrir el episodio: preentrenado por debajo de 1K pasos temporales, cerca de medio minuto y menos que cualquier episodio de tarea, RoboTTT aún supera a Gated DeltaNet pero queda por detrás de sus versiones de contexto más largo, algo que los autores atribuyen a que las ejecuciones van más allá de la ventana vista en el entrenamiento

Resultados principales

La tarea completada media en tres tareas reales de ensamblaje bimanual es del 79 %, frente al 42 % de GR00T N1.7 (un 87 % más), el 49 % con una imagen de historial y el 56 % de la variante con Gated DeltaNet (un 41 % más que esa mejor línea base)
Ensayos totalmente exitosos: 9 de 20 en Pup Go Car, 13 de 20 en Circuit y 2 de 10 en el Gear Bot de cinco minutos y diez etapas, las únicas ejecuciones completas de Gear Bot de cualquier método; ninguna línea base pasó de 3, 8 y 0
El rendimiento en lazo cerrado sube con el contexto de preentrenamiento, hasta el 71,5 % con 8K pasos temporales frente al 43,9 % con 1K (un 63 % más) y el 45,6 % de la mejor línea base de contexto corto, sin señales de saturación
La imitación one-shot a partir de un único vídeo humano de una configuración de Circuit no vista tiene éxito en 6 de 10 ensayos, con un 65 % de tarea completada; la variante con Gated DeltaNet no tiene éxito en ninguno
Cuando una persona retira una pieza que el robot acaba de montar, RoboTTT la vuelve a colocar en 15 de 20 ensayos con el techo y 18 de 20 con la rueda, frente a un máximo de 10 de 20 y 11 de 20 de las líneas base GR00T de contexto corto
A partir de un conjunto de 100 ejecuciones DAgger, DAgger Distillation mejora RoboTTT un 36 %; el ajuste fino DAgger corriente mejora los cuatro métodos un 9 % de media
En las ablaciones, un modelo rápido lineal puntúa un 27 % por debajo del MLP, pasar los tokens de acción por las capas TTT añade un 23 % y los tokens de registro aprendidos un 18 % más; los tokens de registro por sí solos no ayudan a GR00T N1.7

Limitaciones

Sin código ni pesos de los autores: a 8 de noviembre de 2026, ni el registro de arXiv ni la página del proyecto enlazan un repositorio, y no hay ninguno en las organizaciones de GitHub de NVIDIA, en el repositorio Isaac-GR00T ni entre los modelos de NVIDIA en Hugging Face; una reimplementación no oficial de la capa con licencia MIT (lucidrains/robo_ttt) no es de los autores y es una biblioteca de capas, no una política entrenada
El artículo nombra sus propios límites: un contexto de entrenamiento más largo cuesta más cómputo, las capas TTT usan una pérdida genérica de claves y valores en lugar de un objetivo diseñado para robots, y la política no corrige todos los fallos; los autores proponen añadir aprendizaje por refuerzo
Todos los resultados proceden de un único montaje robótico, una estación bimanual YAM con cuatro cámaras, en tres tareas de ensamblaje de juguetes en el laboratorio de los autores, con 10 a 20 ensayos por método y sin intervalos de confianza
El método solo se muestra sobre GR00T N1.7; la afirmación de que encaja en otros modelos fundacionales robóticos no se ha probado
Reproducirlo exige hardware de centro de datos: el preentrenamiento usó 16 GPU NVIDIA GB200 con una mezcla de datos de robot y vídeo humano que no se ha publicado; solo la inferencia cabe en una estación de trabajo con una RTX 5090
Las puntuaciones usan las rúbricas de tarea de los propios autores, y el resumen da la ganancia de 8K sobre 1K como un 62 % mientras que el cuerpo del artículo y las puntuaciones publicadas dan un 63 %

Impacto en el campo

La longitud de contexto ha sido una de las principales vías de escalado de los modelos de lenguaje, pero las políticas robóticas se han quedado en una imagen o un puñado. Los autores informan, por primera vez, de ganancias constantes en lazo cerrado en robots reales cuando el contexto de preentrenamiento crece hasta minutos, lo que convierte la longitud de contexto en algo que quienes construyen modelos robóticos pueden medir y equilibrar frente a datos y parámetros. También lleva el entrenamiento en tiempo de prueba, demostrado hasta ahora sobre todo en lenguaje, vídeo y visión 3D, al control de robots, y convierte dos fuentes de datos conocidas en contexto: vídeos de demostración humanos para la imitación one-shot, e intervenciones DAgger, en las que los propios fallos del robot pasan a ser la señal para corregirse sobre la marcha. Una capa recurrente comparable sin actualizaciones de gradiente (Gated DeltaNet) no mostró el mismo escalado, así que el resultado señala a la regla de actualización, no solo al hecho de tener memoria.

Resumen

Los modelos fundacionales robóticos recientes operan con un contexto visomotor de un solo paso o de historial corto. Presentamos las Test-Time-Training Robot Policies (RoboTTT), un modelo robótico y una receta de entrenamiento que escalan el contexto visomotor a 8K pasos temporales, tres órdenes de magnitud más allá de las políticas del estado del arte, sin aumentar la latencia de inferencia. Con esta longitud de contexto desbloqueamos nuevas capacidades robóticas: imitación one-shot en contexto a partir de demostraciones en vídeo humanas, mejora de la política sobre la marcha, robustez frente a perturbaciones y mejor rendimiento en tareas de varias etapas y horizonte largo. También observamos, por primera vez, ganancias constantes del rendimiento en lazo cerrado a medida que escala la longitud de contexto del preentrenamiento. En esencia, RoboTTT integra el entrenamiento en tiempo de prueba en modelos fundacionales robóticos como las políticas Vision-Language-Action, lo que da un modelo secuencial cuyo estado recurrente consiste en pesos rápidos, parámetros que se actualizan por descenso de gradiente tanto en el entrenamiento como en la inferencia, que comprimen el historial en el espacio de pesos y recuperan información contextual para condicionar sobre contextos largos. Para escalar la longitud de contexto en el entrenamiento, la receta combina el sequence action forcing con la retropropagación truncada a través del tiempo. En exigentes tareas de manipulación con robots reales, RoboTTT mejora el rendimiento global un 87 % respecto a la línea base de contexto de un solo paso y completa por entero una tarea de ensamblaje de cinco minutos y diez etapas, algo que ninguna línea base logra nunca. RoboTTT entrenado con un contexto de 8K pasos temporales supera en un 62 % al mismo modelo preentrenado con 1K pasos temporales, lo que sugiere la longitud de contexto como un nuevo eje de escalado para los modelos fundacionales robóticos. Hay vídeos en research.nvidia.com/labs/gear/robottt.

Enlaces

arXiv 2607.15275: https://arxiv.org/abs/2607.15275
PDF: https://arxiv.org/pdf/2607.15275
Página del proyecto: https://research.nvidia.com/labs/gear/robottt/