RoboTTT: Context Scaling for Robot Policies

Auteurs: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

Pourquoi c'est important

Les modèles de fondation actuels pour la robotique, dont GR00T, pi0 et la plupart des autres VLA, choisissent chaque action à partir des images courantes des caméras et, au plus, de quelques images passées. Ils ne savent pas distinguer deux étapes semblables d'une longue tâche, se souvenir de l'endroit où se trouve une pièce cachée, ni tirer parti de ce qui vient d'échouer. RoboTTT montre qu'une politique peut garder environ cinq minutes de son propre historique sans coût supplémentaire par action, et que cette mémoire paie sur du vrai matériel : un robot à deux bras suit une seule vidéo humaine pour monter un circuit sur lequel il n'a jamais été entraîné, retente une vis manquée au lieu de passer à la suite, et remet en place une pièce qu'une personne enlève. L'article indique aussi que la performance continue de monter quand le contexte de préentraînement passe de 128 pas de temps à 8K, ce qui fait de la longueur de contexte un axe de mise à l'échelle à côté des données et de la taille du modèle. La méthode est un ensemble de couches ajoutées à un modèle existant, et pourrait donc en principe s'adapter à d'autres VLA ouverts. L'article est finaliste d'un prix et présenté en oral à CoRL 2026. Les auteurs n'ont publié ni code ni poids : pour l'instant, sa valeur pour qui construit des robots tient dans la recette et les preuves, pas dans un modèle à télécharger.

Problème

La plupart des modèles de fondation de l'état de l'art en robotique agissent sur la seule observation courante ou sur une courte fenêtre de 2 à 8 images passées. Les longues tâches de manipulation demandent davantage : il faut distinguer des étapes qui se ressemblent, se souvenir d'objets désormais cachés, et une politique qui a échoué devrait se servir de cet échec à la tentative suivante. Réinjecter simplement les images passées nuit le plus souvent, car la politique s'accroche à des motifs fallacieux de son propre historique. Les Transformers qui portent leur attention sur tout l'historique ralentissent à mesure qu'il s'allonge, même avec un cache clé-valeur, et les réseaux récurrents classiques manquent de capacité pour compresser des milliers de pas de temps de données robotiques denses et répétitives. Aucune politique robotique n'avait montré de gains en boucle fermée avec un contexte de plusieurs minutes.

Solution proposée

RoboTTT ajoute une couche d'entraînement au moment du test (TTT) après les couches d'attention dans chacune des 16 couches de la tête d'action de GR00T N1.7, un Transformer de diffusion. L'attention travaille toujours à l'intérieur d'un seul pas de temps ; les couches TTT travaillent à travers le temps. Chaque couche TTT contient un petit MLP à deux couches dont les poids, les poids rapides, reçoivent une mise à jour de gradient à chaque nouvelle observation : l'historique est écrit dans les poids plutôt que dans un cache qui grandit, et le coût par action reste constant. Une porte apprise, initialisée près de zéro, mêle la sortie TTT au modèle préentraîné pour en préserver les compétences. Le modèle est entraîné sur des trajectoires entières, chaque bloc d'actions recevant son propre niveau de bruit (sequence action forcing), et avec une rétropropagation tronquée dans le temps pour que la mémoire ne croisse pas avec la longueur de contexte. Comme certains pas de temps peuvent mettre à jour les poids rapides sans être des cibles d'imitation, le même modèle apprend d'une vidéo humaine placée dans son contexte et, avec DAgger Distillation, d'exécutions où ses propres erreurs servent de contexte et les corrections d'un humain de cibles.

Idées clés

Des poids rapides mis à jour par gradient font une meilleure mémoire pour les flux de données d'un robot qu'un état récurrent linéaire : à placement et nombre de paramètres égaux, les couches Gated DeltaNet ne gagnent rien avec un contexte de préentraînement plus long, alors que RoboTTT continue de progresser
Ajouter naïvement des images passées nuit : GR00T N1.7 avec une image d'historique obtient 39,5 % sur la tâche Pup Go Car contre 57 % sans, car il capte des motifs fallacieux dans son historique
Chaque bloc d'actions d'une séquence d'entraînement a besoin de son propre niveau de bruit ; avec un niveau partagé, l'entraînement sur séquences est instable et le robot ne progresse pas vraiment
Les actions ratées d'une politique sont inutiles comme cibles d'imitation mais précieuses comme contexte : entraîner GR00T N1.7 sur des exécutions DAgger complètes donne le même score que sur les seules corrections, tandis que DAgger Distillation, qui n'utilise les échecs que pour mettre à jour les poids rapides, gagne le plus
Le contexte entraîné doit couvrir l'épisode : préentraîné sous 1K pas de temps, environ une demi-minute et moins que tout épisode de tâche, RoboTTT bat encore Gated DeltaNet mais reste derrière ses versions à plus long contexte, ce que les auteurs attribuent à des exécutions qui dépassent la fenêtre vue à l'entraînement

Principaux résultats

Le taux moyen de tâche accomplie sur trois tâches réelles d'assemblage bimanuel est de 79 %, contre 42 % pour GR00T N1.7 (87 % de plus), 49 % avec une image d'historique et 56 % pour la variante Gated DeltaNet (41 % de plus que cette meilleure référence)
Essais entièrement réussis : 9 sur 20 pour Pup Go Car, 13 sur 20 pour Circuit et 2 sur 10 pour le Gear Bot de cinq minutes en dix étapes, les seules exécutions complètes de Gear Bot toutes méthodes confondues ; aucune référence n'a dépassé 3, 8 et 0
La performance en boucle fermée monte avec le contexte de préentraînement, jusqu'à 71,5 % à 8K pas de temps contre 43,9 % à 1K (63 % de plus) et 45,6 % pour la meilleure référence à contexte court, sans signe de saturation
L'imitation one-shot à partir d'une seule vidéo humaine d'une configuration de Circuit jamais vue réussit 6 essais sur 10, avec 65 % de tâche accomplie ; la variante Gated DeltaNet n'en réussit aucun
Quand une personne retire une pièce que le robot vient de poser, RoboTTT la remet en place dans 15 essais sur 20 pour le toit et 18 sur 20 pour la roue, contre au plus 10 sur 20 et 11 sur 20 pour les références GR00T à contexte court
À partir d'un ensemble de 100 exécutions DAgger, DAgger Distillation améliore RoboTTT de 36 % ; l'affinage DAgger ordinaire améliore les quatre méthodes de 9 % en moyenne
Dans les ablations, un modèle rapide linéaire obtient 27 % de moins que le MLP, faire passer les tokens d'action par les couches TTT ajoute 23 % et les tokens de registre appris 18 % de plus ; seuls, les tokens de registre n'aident pas GR00T N1.7

Limites

Ni code ni poids des auteurs : au 8 novembre 2026, ni la notice arXiv ni la page du projet ne renvoient à un dépôt, et il n'y en a aucun dans les organisations GitHub de NVIDIA, dans le dépôt Isaac-GR00T ni parmi les modèles NVIDIA sur Hugging Face ; une réimplémentation non officielle de la couche sous licence MIT (lucidrains/robo_ttt) n'est pas des auteurs et c'est une bibliothèque de couches, pas une politique entraînée
L'article cite ses propres limites : un contexte d'entraînement plus long coûte plus de calcul, les couches TTT utilisent une perte clé-valeur générique plutôt qu'un objectif conçu pour les robots, et la politique ne corrige pas tous les échecs ; les auteurs proposent d'y ajouter l'apprentissage par renforcement
Tous les résultats viennent d'un seul poste robotique, une station bimanuelle YAM à quatre caméras, sur trois tâches d'assemblage de jouets dans le laboratoire des auteurs, avec 10 à 20 essais par méthode et sans intervalles de confiance
La méthode n'est montrée que sur GR00T N1.7 ; l'affirmation qu'elle s'adapte à d'autres modèles de fondation pour la robotique n'est pas testée
La reproduire demande du matériel de centre de données : le préentraînement a tourné sur 16 GPU NVIDIA GB200 avec un mélange de données robotiques et de vidéos humaines non publié ; seule l'inférence tient sur une station de travail avec une RTX 5090
Les scores suivent les grilles de notation des auteurs eux-mêmes, et le résumé donne le gain de 8K sur 1K à 62 % alors que le corps de l'article et les scores publiés donnent 63 %

Impact sur le domaine

La longueur de contexte a été l'une des grandes voies de mise à l'échelle des modèles de langage, mais les politiques robotiques en sont restées à une image ou à une poignée. Les auteurs rapportent, pour la première fois, des gains réguliers en boucle fermée sur de vrais robots quand le contexte de préentraînement atteint plusieurs minutes, ce qui fait de la longueur de contexte une grandeur que les concepteurs de modèles robotiques peuvent mesurer et arbitrer face aux données et aux paramètres. Le travail fait aussi entrer l'entraînement au moment du test, montré jusqu'ici surtout en langage, en vidéo et en vision 3D, dans la commande des robots, et transforme deux sources de données familières en contexte : les vidéos de démonstration humaines pour l'imitation one-shot, et les interventions DAgger, où les propres échecs du robot deviennent le signal d'une correction à la volée. Une couche récurrente comparable sans mises à jour de gradient (Gated DeltaNet) n'a pas montré la même mise à l'échelle : le résultat désigne donc la règle de mise à jour, et pas seulement le fait d'avoir une mémoire.

Résumé

Les modèles de fondation récents pour la robotique fonctionnent avec un contexte visuomoteur d'un seul pas ou d'un historique court. Nous présentons les Test-Time-Training Robot Policies (RoboTTT), un modèle robotique et une recette d'entraînement qui portent le contexte visuomoteur à 8K pas de temps, trois ordres de grandeur au-delà des politiques de l'état de l'art, sans augmenter la latence d'inférence. À cette longueur de contexte, nous débloquons de nouvelles capacités robotiques : l'imitation one-shot en contexte à partir de démonstrations vidéo humaines, l'amélioration de la politique à la volée, la robustesse aux perturbations et de meilleures performances sur des tâches à plusieurs étapes et à long horizon. Nous observons aussi, pour la première fois, des gains réguliers de performance en boucle fermée à mesure que la longueur de contexte du préentraînement augmente. Au fond, RoboTTT intègre l'entraînement au moment du test dans des modèles de fondation pour la robotique comme les politiques Vision-Language-Action, ce qui donne un modèle de séquence dont l'état récurrent est fait de poids rapides, des paramètres mis à jour par descente de gradient pendant l'entraînement comme pendant l'inférence, qui compriment l'historique dans l'espace des poids et en récupèrent l'information contextuelle pour le conditionnement sur un long contexte. Pour allonger le contexte à l'entraînement, la recette combine le sequence action forcing et la rétropropagation tronquée dans le temps. Sur des tâches de manipulation exigeantes avec de vrais robots, RoboTTT améliore la performance globale de 87 % par rapport à la référence au contexte d'un seul pas et accomplit entièrement une tâche d'assemblage de cinq minutes en dix étapes, ce qu'aucune référence ne réussit jamais. Entraîné avec un contexte de 8K pas de temps, RoboTTT dépasse de 62 % le même modèle préentraîné avec 1K pas de temps, ce qui suggère la longueur de contexte comme nouvel axe de mise à l'échelle pour les modèles de fondation en robotique. Les vidéos sont disponibles sur research.nvidia.com/labs/gear/robottt.

Liens

arXiv 2607.15275: https://arxiv.org/abs/2607.15275
PDF: https://arxiv.org/pdf/2607.15275
Page du projet: https://research.nvidia.com/labs/gear/robottt/