RoboTTT: Context Scaling for Robot Policies

Autori: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

Perché è importante

I foundation model robotici di oggi, tra cui GR00T, pi0 e la maggior parte degli altri modelli Vision-Language-Action (VLA), decidono ogni azione in base alle immagini attuali delle telecamere e al massimo a poche precedenti. Non sanno distinguere due fasi simili di un compito lungo, ricordare dove si trova un pezzo nascosto né imparare da ciò che è appena andato storto. RoboTTT mostra che una policy può portarsi dietro circa cinque minuti della propria storia senza costi in più per azione, e che questa memoria rende su hardware reale: un robot a due bracci segue un unico video umano per montare un circuito su cui non è mai stato addestrato, riprova una vite mancata invece di andare avanti e rimette a posto un pezzo che una persona toglie. L'articolo riporta anche che le prestazioni continuano a salire quando il contesto di pre-addestramento cresce da 128 istanti temporali a 8K, il che indica la lunghezza del contesto come asse di scala accanto ai dati e alla dimensione del modello. Il metodo è un insieme di livelli aggiunti a un modello esistente, quindi in linea di principio potrebbe essere applicato ad altri VLA aperti. L'articolo è finalista a un premio e presentazione orale a CoRL 2026. Gli autori non hanno pubblicato codice né pesi, quindi per ora il valore per chi costruisce robot sta nella ricetta e nelle prove, non in un modello da scaricare.

Problema

La maggior parte dei foundation model robotici allo stato dell'arte agisce sulla sola osservazione corrente o su una breve finestra di 2-8 immagini precedenti. I lunghi compiti di manipolazione chiedono di più: bisogna distinguere fasi che si somigliano, ricordare oggetti ora nascosti, e una policy che ha fallito dovrebbe sfruttare quel fallimento al tentativo successivo. Reinserire semplicemente le immagini passate di solito peggiora le cose, perché la policy si aggrappa a schemi spuri della propria storia. I Transformer che applicano l'attenzione all'intera storia rallentano man mano che questa cresce, anche con una cache chiave-valore, e le reti ricorrenti classiche hanno troppa poca capacità per comprimere migliaia di istanti temporali di dati robotici densi e ripetitivi. Nessuna policy robotica aveva mostrato guadagni a ciclo chiuso con un contesto di minuti.

Soluzione proposta

RoboTTT aggiunge un livello di test-time training (TTT) dopo i livelli di attenzione in ciascuno dei 16 livelli della testa d'azione di GR00T N1.7, un Transformer di diffusione. L'attenzione lavora ancora dentro un singolo istante temporale; i livelli TTT lavorano attraverso il tempo. Ogni livello TTT contiene un piccolo MLP a due livelli i cui pesi, i pesi veloci, ricevono un aggiornamento del gradiente a ogni nuova osservazione: la storia viene scritta nei pesi invece che in una cache che cresce, e il costo per azione resta costante. Un gate appreso, che parte vicino a zero, mescola l'uscita TTT nel modello pre-addestrato in modo da conservarne le abilità. Il modello è addestrato su traiettorie intere, dando a ogni blocco di azioni il proprio livello di rumore (sequence action forcing), e con retropropagazione troncata nel tempo perché la memoria usata non cresca con la lunghezza del contesto. Poiché alcuni istanti temporali possono aggiornare i pesi veloci senza essere obiettivi di imitazione, lo stesso modello impara da un video umano posto nel suo contesto e, con la DAgger Distillation, da esecuzioni in cui i suoi errori sono il contesto e le correzioni di una persona sono gli obiettivi.

Idee chiave

I pesi veloci aggiornati per gradiente sono una memoria migliore per i flussi di dati di un robot rispetto a uno stato ricorrente lineare: a parità di posizione e numero di parametri, i livelli Gated DeltaNet non guadagnano nulla da un contesto di pre-addestramento più lungo, mentre RoboTTT continua a migliorare
Aggiungere ingenuamente immagini passate peggiora le cose: GR00T N1.7 con un'immagine di storia ottiene il 39,5% nel compito Pup Go Car contro il 57% senza, perché coglie schemi spuri dalla propria storia
Ogni blocco di azioni di una sequenza di addestramento ha bisogno del proprio livello di rumore; con un livello condiviso l'addestramento su sequenze è instabile e il robot non fa progressi significativi
Le azioni fallite di una policy non servono come obiettivi di imitazione ma valgono come contesto: addestrare GR00T N1.7 su esecuzioni DAgger complete dà lo stesso risultato che sulle sole correzioni, mentre la DAgger Distillation, che usa i fallimenti solo per aggiornare i pesi veloci, guadagna di più
Il contesto addestrato deve coprire l'episodio: pre-addestrato sotto 1K istanti temporali, circa mezzo minuto e meno di qualunque episodio dei compiti, RoboTTT batte ancora Gated DeltaNet ma resta dietro alle sue versioni a contesto più lungo, cosa che gli autori attribuiscono a esecuzioni che vanno oltre la finestra vista in addestramento

Risultati principali

Il completamento medio su tre compiti reali di assemblaggio bimanuale è del 79%, contro il 42% di GR00T N1.7 (l'87% in più), il 49% con un'immagine di storia e il 56% della variante con Gated DeltaNet (il 41% in più di questa baseline migliore)
Prove riuscite per intero: 9 su 20 in Pup Go Car, 13 su 20 in Circuit e 2 su 10 nel Gear Bot di cinque minuti in dieci fasi, le sole esecuzioni complete di Gear Bot tra tutti i metodi; nessuna baseline è andata oltre 3, 8 e 0
Le prestazioni a ciclo chiuso salgono con il contesto di pre-addestramento, fino al 71,5% a 8K istanti temporali contro il 43,9% a 1K (il 63% in più) e il 45,6% della migliore baseline a contesto breve, senza segni di saturazione
L'imitazione one-shot da un solo video umano di una configurazione di Circuit mai vista riesce in 6 prove su 10, con il 65% di completamento; la variante con Gated DeltaNet non ne riesce nessuna
Quando una persona toglie un pezzo che il robot ha appena montato, RoboTTT lo rimonta in 15 prove su 20 con il tetto e 18 su 20 con la ruota, contro al massimo 10 su 20 e 11 su 20 delle baseline GR00T a contesto breve
Da un insieme di 100 esecuzioni DAgger, la DAgger Distillation migliora RoboTTT del 36%; il normale fine-tuning DAgger migliora i quattro metodi del 9% in media
Nelle ablazioni, un modello veloce lineare ottiene il 27% in meno dell'MLP, far passare i token d'azione nei livelli TTT aggiunge il 23% e i token di registro appresi un ulteriore 18%; da soli, i token di registro non aiutano GR00T N1.7

Limiti

Nessun codice né pesi dagli autori: all'8 novembre 2026 né la scheda arXiv né la pagina del progetto rimandano a un repository, e non ce n'è nessuno nelle organizzazioni GitHub di NVIDIA, nel repository Isaac-GR00T né tra i modelli NVIDIA su Hugging Face; una reimplementazione non ufficiale del livello con licenza MIT (lucidrains/robo_ttt) non è degli autori ed è una libreria di livelli, non una policy addestrata
L'articolo indica i propri limiti: un contesto di addestramento più lungo costa più calcolo, i livelli TTT usano una loss chiave-valore generica invece di un obiettivo pensato per i robot, e la policy non risolve ogni fallimento; gli autori propongono di aggiungere l'apprendimento per rinforzo
Tutti i risultati vengono da un'unica postazione robotica, una stazione bimanuale YAM con quattro telecamere, su tre compiti di assemblaggio di giocattoli nel laboratorio degli autori, con 10-20 prove per metodo e senza intervalli di confidenza
Il metodo è mostrato solo su GR00T N1.7; l'affermazione che si adatti ad altri foundation model robotici non è verificata
Riprodurlo richiede hardware da data center: il pre-addestramento è girato su 16 GPU NVIDIA GB200 con un mix di dati robotici e video umani non pubblicato; solo l'inferenza sta su una workstation con una RTX 5090
I punteggi usano le griglie di valutazione degli autori stessi, e l'abstract indica il guadagno di 8K su 1K come 62% mentre il corpo dell'articolo e i punteggi riportati danno 63%

Impatto sul settore

La lunghezza del contesto è stata una delle principali vie di scala dei modelli linguistici, ma le policy robotiche sono rimaste a un'immagine o poche di più. Gli autori riportano, per la prima volta, guadagni costanti a ciclo chiuso su robot reali quando il contesto di pre-addestramento arriva a qualche minuto; la lunghezza del contesto diventa così qualcosa che chi costruisce modelli robotici può misurare e bilanciare con dati e parametri. Il lavoro porta inoltre il test-time training, finora mostrato soprattutto su linguaggio, video e visione 3D, nel controllo dei robot, e trasforma due fonti di dati note in contesto: i video dimostrativi umani per l'imitazione one-shot e gli interventi DAgger, in cui i fallimenti del robot stesso diventano il segnale per correggersi al volo. Un livello ricorrente analogo senza aggiornamenti del gradiente (Gated DeltaNet) non ha mostrato la stessa scalabilità, quindi il risultato chiama in causa la regola di aggiornamento, non solo il fatto di avere una memoria.

Abstract

I recenti foundation model robotici operano con un contesto visuomotorio di un solo passo o di storia breve. Presentiamo le Test-Time-Training Robot Policies (RoboTTT), un modello robotico e una ricetta di addestramento che portano il contesto visuomotorio a 8K istanti temporali, tre ordini di grandezza oltre le policy allo stato dell'arte, senza aumentare la latenza di inferenza. A questa lunghezza di contesto sblocchiamo nuove capacità robotiche: imitazione one-shot in contesto da dimostrazioni video umane, miglioramento della policy al volo, robustezza alle perturbazioni e prestazioni migliori su compiti a più fasi e a lungo orizzonte. Osserviamo inoltre, per la prima volta, guadagni costanti delle prestazioni a ciclo chiuso man mano che cresce la lunghezza del contesto di pre-addestramento. Nel suo nucleo, RoboTTT integra il test-time training nei foundation model robotici come le policy Vision-Language-Action, ottenendo un modello di sequenza il cui stato ricorrente è fatto di pesi veloci, parametri aggiornati per discesa del gradiente sia in addestramento sia in inferenza, che comprimono la storia nello spazio dei pesi e ne recuperano le informazioni di contesto per il condizionamento su contesti lunghi. Per estendere la lunghezza di contesto in addestramento, la ricetta combina il sequence action forcing con la retropropagazione troncata nel tempo. Su impegnativi compiti di manipolazione con robot reali, RoboTTT migliora le prestazioni complessive dell'87% rispetto alla baseline con contesto di un solo passo e completa per intero un compito di assemblaggio di cinque minuti in dieci fasi, cosa che nessuna baseline riesce mai a fare. Addestrato con un contesto di 8K istanti temporali, RoboTTT supera del 62% lo stesso modello pre-addestrato con 1K istanti temporali, il che indica la lunghezza del contesto come nuovo asse di scala per i foundation model robotici. I video sono disponibili su research.nvidia.com/labs/gear/robottt.

Link

arXiv 2607.15275: https://arxiv.org/abs/2607.15275
PDF: https://arxiv.org/pdf/2607.15275
Pagina del progetto: https://research.nvidia.com/labs/gear/robottt/