RoboTTT: Context Scaling for Robot Policies

Autores: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

Por que importa

Os modelos de fundação robóticos de hoje, incluindo GR00T, pi0 e a maioria dos outros VLAs, decidem cada ação a partir das imagens atuais das câmeras e, no máximo, de algumas anteriores. Eles não conseguem distinguir duas etapas parecidas de uma tarefa longa, lembrar onde ficou uma peça que está escondida nem aprender com o que acabou de dar errado. O RoboTTT mostra que uma política pode carregar cerca de cinco minutos do próprio histórico sem custo extra por ação, e que essa memória compensa em hardware real: um robô de dois braços segue um único vídeo humano para montar um circuito com o qual nunca foi treinado, tenta de novo um parafuso que errou em vez de seguir em frente e recoloca uma peça que uma pessoa remove. O artigo também relata que o desempenho continua subindo quando o contexto de pré-treinamento cresce de 128 passos de tempo para 8K, o que sugere o comprimento de contexto como eixo de escala ao lado de dados e tamanho do modelo. O método é um conjunto de camadas acrescentadas a um modelo existente, então em princípio poderia ser aplicado a outros VLAs abertos. O artigo é finalista de prêmio e apresentação oral na CoRL 2026. Os autores não publicaram código nem pesos, então por ora o valor para quem constrói robôs está na receita e nas evidências, não em um modelo para baixar.

Problema

A maioria dos modelos de fundação robóticos do estado da arte age só com a observação atual ou com uma janela curta de 2 a 8 imagens anteriores. Tarefas de manipulação longas precisam de mais: etapas parecidas precisam ser distinguidas, objetos agora escondidos precisam ser lembrados, e uma política que falhou deveria usar essa falha na tentativa seguinte. Simplesmente realimentar imagens passadas costuma atrapalhar, porque a política se apega a padrões espúrios do próprio histórico. Transformadores que aplicam atenção sobre todo o histórico ficam mais lentos à medida que ele cresce, mesmo com cache de chaves e valores, e as redes recorrentes clássicas têm capacidade de menos para comprimir milhares de passos de tempo de dados robóticos densos e repetitivos. Nenhuma política robótica tinha mostrado ganhos em malha fechada com um contexto de minutos.

Solução proposta

O RoboTTT acrescenta uma camada de treinamento em tempo de teste (TTT) depois das camadas de atenção em cada uma das 16 camadas da cabeça de ação do GR00T N1.7, um transformador de difusão. A atenção continua trabalhando dentro de um único passo de tempo; as camadas TTT trabalham ao longo do tempo. Cada camada TTT contém um pequeno MLP de duas camadas cujos pesos, os pesos rápidos, recebem uma atualização de gradiente a cada nova observação, gravando o histórico nos pesos em vez de em um cache crescente, de modo que o custo por ação continua constante. Uma porta aprendida, que começa perto de zero, mistura a saída TTT ao modelo pré-treinado para preservar suas habilidades. O modelo é treinado com trajetórias inteiras, dando a cada bloco de ações o seu próprio nível de ruído (sequence action forcing), e com retropropagação truncada através do tempo, para que o uso de memória não cresça com o comprimento de contexto. Como alguns passos de tempo podem atualizar os pesos rápidos sem serem alvos de imitação, o mesmo modelo aprende com um vídeo humano colocado em seu contexto e, com DAgger Distillation, com execuções em que os próprios erros são o contexto e as correções de uma pessoa são os alvos.

Principais ideias

Pesos rápidos atualizados por gradiente são uma memória melhor para os fluxos de dados de um robô do que um estado recorrente linear: com o mesmo posicionamento e o mesmo número de parâmetros, as camadas Gated DeltaNet não ganham nada com um contexto de pré-treinamento mais longo, enquanto o RoboTTT continua melhorando
Acrescentar imagens passadas de forma ingênua atrapalha: o GR00T N1.7 com uma imagem de histórico marca 39,5% na tarefa Pup Go Car contra 57% sem ela, porque capta padrões espúrios do seu histórico
Cada bloco de ações de uma sequência de treinamento precisa do seu próprio nível de ruído; com um nível compartilhado, o treinamento em sequência fica instável e o robô não avança de forma significativa
As ações que falharam não servem como alvos de imitação, mas valem como contexto: treinar o GR00T N1.7 com execuções DAgger completas dá o mesmo resultado que só com as correções, enquanto a DAgger Distillation, que usa as falhas apenas para atualizar os pesos rápidos, é a que mais ganha
O contexto treinado deve cobrir o episódio: pré-treinado abaixo de 1K passos de tempo, cerca de meio minuto e menos que qualquer episódio de tarefa, o RoboTTT ainda supera o Gated DeltaNet, mas fica atrás das suas versões de contexto mais longo, o que os autores atribuem às execuções que vão além da janela vista no treinamento

Principais resultados

A conclusão média de tarefa em três tarefas reais de montagem bimanual é de 79%, contra 42% do GR00T N1.7 (87% a mais), 49% com uma imagem de histórico e 56% da variante com Gated DeltaNet (41% a mais que essa melhor linha de base)
Tentativas totalmente bem-sucedidas: 9 de 20 no Pup Go Car, 13 de 20 no Circuit e 2 de 10 no Gear Bot de cinco minutos e dez etapas, as únicas execuções completas do Gear Bot entre todos os métodos; nenhuma linha de base passou de 3, 8 e 0
O desempenho em malha fechada sobe com o contexto de pré-treinamento, chegando a 71,5% com 8K passos de tempo contra 43,9% com 1K (63% a mais) e 45,6% da melhor linha de base de contexto curto, sem sinal de saturação
A imitação one-shot a partir de um único vídeo humano de uma configuração do Circuit nunca vista dá certo em 6 de 10 tentativas, com 65% de conclusão de tarefa; a variante com Gated DeltaNet não acerta nenhuma
Quando uma pessoa remove uma peça que o robô acabou de montar, o RoboTTT a recoloca em 15 de 20 tentativas com o teto e 18 de 20 com a roda, contra no máximo 10 de 20 e 11 de 20 das linhas de base GR00T de contexto curto
A partir de um conjunto de 100 execuções DAgger, a DAgger Distillation melhora o RoboTTT em 36%; o ajuste fino DAgger comum melhora os quatro métodos em 9% em média
Nas ablações, um modelo rápido linear fica 27% abaixo do MLP, passar os tokens de ação pelas camadas TTT acrescenta 23% e os tokens de registro aprendidos mais 18%; sozinhos, os tokens de registro não ajudam o GR00T N1.7

Limitações

Sem código nem pesos dos autores: em 8 de novembro de 2026, nem o registro no arXiv nem a página do projeto apontam para um repositório, e não há nenhum nas organizações da NVIDIA no GitHub, no repositório Isaac-GR00T nem entre os modelos da NVIDIA no Hugging Face; uma reimplementação não oficial da camada sob licença MIT (lucidrains/robo_ttt) não é dos autores e é uma biblioteca de camadas, não uma política treinada
O artigo aponta os próprios limites: um contexto de treinamento mais longo custa mais computação, as camadas TTT usam uma perda genérica de chave e valor em vez de um objetivo pensado para robôs, e a política não corrige todas as falhas; os autores sugerem acrescentar aprendizado por reforço
Todos os resultados vêm de uma única bancada robótica, uma estação bimanual YAM com quatro câmeras, em três tarefas de montagem de brinquedos no laboratório dos autores, com 10 a 20 tentativas por método e sem intervalos de confiança
O método só é mostrado no GR00T N1.7; a afirmação de que ele se encaixa em outros modelos de fundação robóticos não foi testada
Reproduzir exige hardware de data center: o pré-treinamento rodou em 16 GPUs NVIDIA GB200 com uma mistura de dados de robô e de vídeo humano que não foi publicada; só a inferência cabe em uma estação de trabalho com uma RTX 5090
As notas usam as rubricas de tarefa dos próprios autores, e o resumo dá o ganho de 8K sobre 1K como 62%, enquanto o corpo do artigo e as notas publicadas dão 63%

Impacto na área

O comprimento de contexto tem sido um dos principais caminhos de escala dos modelos de linguagem, mas as políticas robóticas ficaram em uma imagem ou um punhado delas. Os autores relatam, pela primeira vez, ganhos constantes em malha fechada em robôs reais quando o contexto de pré-treinamento cresce até minutos, o que transforma o comprimento de contexto em algo que quem constrói modelos robóticos pode medir e equilibrar com dados e parâmetros. O trabalho também leva o treinamento em tempo de teste, mostrado até agora sobretudo em linguagem, vídeo e visão 3D, para o controle de robôs, e transforma duas fontes de dados conhecidas em contexto: vídeos de demonstração humanos para a imitação one-shot e intervenções DAgger, em que as próprias falhas do robô viram o sinal para a correção em tempo real. Uma camada recorrente comparável sem atualizações de gradiente (Gated DeltaNet) não mostrou a mesma escala, então o resultado aponta para a regra de atualização, não apenas para o fato de ter memória.

Resumo

Os modelos de fundação robóticos recentes operam com contexto visuomotor de um único passo ou de histórico curto. Apresentamos as Test-Time-Training Robot Policies (RoboTTT), um modelo robótico e uma receita de treinamento que escalam o contexto visuomotor para 8K passos de tempo, três ordens de grandeza além das políticas do estado da arte, sem aumentar a latência de inferência. Com esse comprimento de contexto, desbloqueamos novas capacidades robóticas: imitação one-shot em contexto a partir de demonstrações em vídeo humanas, melhoria da política em tempo real, robustez a perturbações e desempenho melhor em tarefas de várias etapas e horizonte longo. Também observamos, pela primeira vez, ganhos constantes de desempenho em malha fechada à medida que o comprimento de contexto do pré-treinamento escala. Em sua essência, o RoboTTT integra o treinamento em tempo de teste a modelos de fundação robóticos como as políticas Vision-Language-Action, produzindo um modelo de sequência cujo estado recorrente é formado por pesos rápidos, parâmetros atualizados por descida de gradiente tanto no treinamento quanto na inferência, que comprimem o histórico no espaço de pesos e recuperam informação contextual para o condicionamento em contexto longo. Para escalar o comprimento de contexto no treinamento, a receita combina sequence action forcing com retropropagação truncada através do tempo. Em tarefas desafiadoras de manipulação com robôs reais, o RoboTTT melhora o desempenho geral em 87% em relação à linha de base com contexto de um único passo e conclui por completo uma tarefa de montagem de cinco minutos e dez etapas, o que nenhuma linha de base jamais consegue. O RoboTTT treinado com contexto de 8K passos de tempo supera em 62% o mesmo modelo pré-treinado com 1K passos de tempo, o que sugere o comprimento de contexto como um novo eixo de escala para modelos de fundação robóticos. Os vídeos estão em research.nvidia.com/labs/gear/robottt.

Open Source Robotics