RoboTTT: Context Scaling for Robot Policies

Autoren: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

Warum es wichtig ist

Heutige Foundation Models für Roboter, darunter GR00T, pi0 und die meisten anderen VLAs, wählen jede Aktion anhand der aktuellen Kamerabilder und höchstens einiger früherer. Sie können zwei ähnlich aussehende Stufen einer langen Aufgabe nicht auseinanderhalten, sich nicht merken, wo ein verdecktes Teil liegt, und nicht aus dem lernen, was gerade schiefging. RoboTTT zeigt, dass eine Policy etwa fünf Minuten ihrer eigenen Historie ohne Mehrkosten pro Aktion mitführen kann und dass sich dieses Gedächtnis auf echter Hardware auszahlt: Ein zweiarmiger Roboter baut nach einem einzigen menschlichen Video eine Schaltung, für die er nie trainiert wurde, versucht eine verfehlte Schraube erneut, statt weiterzumachen, und setzt ein Teil wieder ein, das ein Mensch entfernt. Das Paper berichtet außerdem, dass die Leistung weiter steigt, wenn der Pretraining-Kontext von 128 Zeitschritten auf 8K wächst, was die Kontextlänge als Skalierungsachse neben Daten und Modellgröße nahelegt. Die Methode besteht aus Schichten, die einem bestehenden Modell hinzugefügt werden, und ließe sich daher grundsätzlich auch an andere offene VLAs anbauen. Das Paper ist Award-Finalist und Oral auf der CoRL 2026. Die Autoren haben weder Code noch Gewichte veröffentlicht; für Entwickler liegt der Wert vorerst im Rezept und in den Belegen, nicht in einem Modell zum Herunterladen.

Problem

Die meisten aktuellen Foundation Models für Roboter handeln nur auf Basis der aktuellen Beobachtung oder eines kurzen Fensters von 2 bis 8 früheren Bildern. Lange Manipulationsaufgaben brauchen mehr: Ähnlich aussehende Stufen müssen unterschieden, inzwischen verdeckte Objekte erinnert werden, und eine Policy, die gescheitert ist, sollte diesen Fehlschlag beim nächsten Versuch nutzen. Frühere Bilder einfach wieder einzuspeisen schadet meist, weil die Policy sich an Scheinmuster in ihrer eigenen Historie hängt. Transformer, die über die gesamte Historie attendieren, werden mit ihrem Wachstum langsamer, selbst mit Key-Value-Cache, und klassische rekurrente Netze haben zu wenig Kapazität, um Tausende Zeitschritte dichter, sich wiederholender Roboterdaten zu komprimieren. Keine Roboter-Policy hatte bis dahin Closed-Loop-Zuwächse aus einem Kontext von Minuten gezeigt.

Lösungsansatz

RoboTTT fügt in jeder der 16 Schichten des Diffusion-Transformer-Aktionskopfs von GR00T N1.7 nach den Attention-Schichten eine Test-Time-Training-Schicht (TTT) ein. Attention arbeitet weiterhin innerhalb eines einzelnen Zeitschritts, die TTT-Schichten arbeiten über die Zeit. Jede TTT-Schicht enthält ein kleines zweischichtiges MLP, dessen Gewichte, die schnellen Gewichte, bei jeder neuen Beobachtung ein Gradienten-Update erhalten; so wird die Historie in die Gewichte geschrieben statt in einen wachsenden Cache, und die Kosten pro Aktion bleiben konstant. Ein gelerntes Gate, das nahe null startet, mischt die TTT-Ausgabe in das vortrainierte Modell, damit dessen Fähigkeiten erhalten bleiben. Trainiert wird auf ganzen Trajektorien, wobei jeder Aktions-Chunk sein eigenes Rauschniveau erhält (Sequence Action Forcing), und mit Truncated Backpropagation Through Time, damit der Speicherbedarf nicht mit der Kontextlänge wächst. Weil manche Zeitschritte die schnellen Gewichte aktualisieren können, ohne Imitationsziel zu sein, lernt dasselbe Modell aus einem menschlichen Video in seinem Kontext und, mit DAgger Distillation, aus Rollouts, in denen seine eigenen Fehler Kontext und die Korrekturen eines Menschen die Ziele sind.

Wichtigste Erkenntnisse

Per Gradient aktualisierte schnelle Gewichte sind ein besseres Gedächtnis für Roboterdatenströme als ein linearer rekurrenter Zustand: Bei gleicher Platzierung und Parameterzahl gewinnen Gated-DeltaNet-Schichten durch längeren Pretraining-Kontext nichts, während RoboTTT sich weiter verbessert
Frühere Bilder naiv hinzuzufügen schadet: GR00T N1.7 mit einem Verlaufsbild erreicht bei der Aufgabe Pup Go Car 39,5 % gegenüber 57 % ohne, weil es Scheinmuster aus seiner Historie aufgreift
Jeder Aktions-Chunk einer Trainingssequenz braucht sein eigenes Rauschniveau; mit einem gemeinsamen Niveau ist das Sequenztraining instabil und der Roboter kommt nicht sinnvoll voran
Die fehlgeschlagenen Aktionen einer Policy taugen nicht als Imitationsziele, sind als Kontext aber wertvoll: GR00T N1.7 auf vollständigen DAgger-Rollouts zu trainieren bringt dasselbe wie nur auf den Korrekturen, während DAgger Distillation, die die Fehler nur zum Aktualisieren der schnellen Gewichte nutzt, am meisten gewinnt
Der trainierte Kontext sollte die Episode abdecken: Unter 1K Zeitschritten vortrainiert, etwa eine halbe Minute und kürzer als jede Aufgabenepisode, schlägt RoboTTT zwar noch Gated DeltaNet, bleibt aber hinter seinen Varianten mit längerem Kontext zurück; die Autoren führen das darauf zurück, dass die Rollouts über das im Training gesehene Fenster hinauslaufen

Hauptergebnisse

Die durchschnittliche Aufgabenerfüllung über drei echte bimanuelle Montageaufgaben liegt bei 79 %, gegenüber 42 % für GR00T N1.7 (87 % höher), 49 % mit einem Verlaufsbild und 56 % für die Gated-DeltaNet-Variante (41 % höher als diese beste Baseline)
Vollständig erfolgreiche Versuche: 9 von 20 bei Pup Go Car, 13 von 20 bei Circuit und 2 von 10 beim fünfminütigen Gear Bot in zehn Stufen, die einzigen vollständigen Gear-Bot-Durchläufe aller Methoden; keine Baseline schaffte mehr als 3, 8 und 0
Die Closed-Loop-Leistung steigt mit dem Pretraining-Kontext, auf 71,5 % bei 8K Zeitschritten gegenüber 43,9 % bei 1K (63 % höher) und 45,6 % für die beste Baseline mit kurzem Kontext, ohne Anzeichen einer Sättigung
One-Shot-Imitation aus einem einzigen menschlichen Video einer ungesehenen Circuit-Konfiguration gelingt in 6 von 10 Versuchen mit 65 % Aufgabenerfüllung; die Gated-DeltaNet-Variante schafft keinen
Entfernt ein Mensch ein Teil, das der Roboter gerade montiert hat, setzt RoboTTT es in 15 von 20 Versuchen mit dem Dach und 18 von 20 mit dem Reifen wieder ein, gegenüber höchstens 10 von 20 und 11 von 20 bei den GR00T-Baselines mit kurzem Kontext
Aus einem Pool von 100 DAgger-Rollouts verbessert DAgger Distillation RoboTTT um 36 %; gewöhnliches DAgger-Fine-Tuning verbessert die vier Methoden im Schnitt um 9 %
In Ablationen liegt ein lineares schnelles Modell 27 % unter dem MLP, Aktions-Tokens durch die TTT-Schichten zu leiten bringt 23 % und gelernte Register-Tokens weitere 18 %; Register-Tokens allein helfen GR00T N1.7 nicht

Einschränkungen

Kein Code und keine Gewichte von den Autoren: Stand 8. November 2026 verlinken weder der arXiv-Eintrag noch die Projektseite ein Repository, und es gibt keines in NVIDIAs GitHub-Organisationen, im Isaac-GR00T-Repository oder unter NVIDIAs Hugging-Face-Modellen; eine inoffizielle MIT-lizenzierte Neuimplementierung der Schicht (lucidrains/robo_ttt) stammt nicht von den Autoren und ist eine Schichtbibliothek, keine trainierte Policy
Das Paper nennt eigene Grenzen: Längerer Trainingskontext kostet mehr Rechenleistung, die TTT-Schichten nutzen einen generischen Key-Value-Loss statt eines für Roboter entworfenen Ziels, und die Policy behebt nicht jeden Fehler; die Autoren schlagen vor, Reinforcement Learning hinzuzunehmen
Alle Ergebnisse stammen von einem einzigen Roboteraufbau, einer bimanuellen YAM-Station mit vier Kameras, bei drei Spielzeug-Montageaufgaben im Labor der Autoren, mit 10 bis 20 Versuchen pro Methode und ohne Konfidenzintervalle
Die Methode wird nur auf GR00T N1.7 gezeigt; die Aussage, dass sie zu anderen Foundation Models für Roboter passt, ist nicht getestet
Die Reproduktion braucht Rechenzentrumshardware: Das Pretraining lief auf 16 NVIDIA-GB200-GPUs mit einer nicht veröffentlichten Mischung aus Roboter- und menschlichen Videodaten; nur die Inferenz passt auf eine Workstation mit RTX 5090
Die Bewertungen nutzen die eigenen Aufgabenraster der Autoren, und das Abstract gibt den Zugewinn von 8K gegenüber 1K mit 62 % an, während Haupttext und berichtete Werte 63 % ergeben

Wirkung auf das Fachgebiet

Die Kontextlänge ist einer der wichtigsten Wege, auf denen Sprachmodelle skalieren, doch Roboter-Policies sind bei einem Bild oder einer Handvoll geblieben. Die Autoren berichten erstmals stetige Closed-Loop-Zuwächse auf echten Robotern, wenn der Pretraining-Kontext auf Minuten wächst; damit wird die Kontextlänge zu etwas, das Entwickler von Robotermodellen messen und gegen Daten und Parameter abwägen können. Die Arbeit bringt außerdem Test-Time Training, bisher vor allem in Sprache, Video und 3D-Vision gezeigt, in die Robotersteuerung und macht zwei vertraute Datenquellen zu Kontext: menschliche Demonstrationsvideos für One-Shot-Imitation und DAgger-Eingriffe, bei denen die eigenen Fehler des Roboters zum Signal für die Korrektur im laufenden Betrieb werden. Eine vergleichbare rekurrente Schicht ohne Gradienten-Updates (Gated DeltaNet) zeigte nicht dieselbe Skalierung; das Ergebnis weist also auf die Update-Regel hin, nicht nur darauf, überhaupt ein Gedächtnis zu haben.

Zusammenfassung

Aktuelle Foundation Models für Roboter arbeiten mit visuomotorischem Kontext aus einem einzigen Schritt oder einer kurzen Historie. Wir stellen Test-Time-Training Robot Policies (RoboTTT) vor, ein Robotermodell und Trainingsrezept, das den visuomotorischen Kontext auf 8K Zeitschritte skaliert, drei Größenordnungen über den Stand der Technik hinaus, ohne die Inferenzlatenz zu erhöhen. Bei dieser Kontextlänge erschließen wir neue Roboterfähigkeiten: One-Shot-In-Context-Imitation aus menschlichen Videodemonstrationen, Verbesserung der Policy im laufenden Betrieb, Robustheit gegenüber Störungen und bessere Leistung bei mehrstufigen Aufgaben mit langem Horizont. Wir beobachten außerdem erstmals stetige Zuwächse der Closed-Loop-Leistung, wenn die Kontextlänge im Pretraining skaliert wird. Im Kern integriert RoboTTT Test-Time Training in Foundation Models für Roboter wie Vision-Language-Action-Policies und ergibt so ein Sequenzmodell, dessen rekurrenter Zustand aus schnellen Gewichten besteht: Parametern, die sowohl im Training als auch bei der Inferenz per Gradientenabstieg aktualisiert werden, die Historie in den Gewichtsraum komprimieren und Kontextinformationen für die Konditionierung auf langen Kontext abrufen. Um die Kontextlänge im Training zu skalieren, kombiniert das Rezept Sequence Action Forcing mit Truncated Backpropagation Through Time. Bei anspruchsvollen Manipulationsaufgaben mit echten Robotern verbessert RoboTTT die Gesamtleistung um 87 % gegenüber der Baseline mit Kontext aus einem einzigen Schritt und schließt eine fünfminütige Montageaufgabe in zehn Stufen vollständig ab, was keiner Baseline je gelingt. Mit 8K Zeitschritten Kontext trainiert, übertrifft RoboTTT dasselbe mit 1K Zeitschritten vortrainierte Modell um 62 %, was die Kontextlänge als neue Skalierungsachse für Foundation Models in der Robotik nahelegt. Videos gibt es unter research.nvidia.com/labs/gear/robottt.

Open Source Robotics