RoboTTT: Context Scaling for Robot Policies

作者: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

為何重要

現今的機器人基礎模型，包括 GR00T、pi0 與多數其他 VLA，都只根據目前的攝影機畫面，最多再加上幾張過去的畫面，來決定每個動作。它們分不出長任務中兩個看起來相似的階段，記不住被遮住的零件在哪裡，也無法從剛剛出錯的地方學到教訓。RoboTTT 證明，策略可以帶著自己大約五分鐘的歷史運作，而每個動作的成本不會增加，而且這種記憶在真實硬體上確實有用：一台雙臂機器人看一段人類影片，就能組裝出從未訓練過的電路；螺絲沒鎖準時會重試，而不是直接跳到下一步；有人把零件拿走時，它會把零件裝回去。論文也指出，當預訓練情境從 128 個時間步增加到 8K 時，效能持續上升，代表情境長度可以和資料量、模型規模並列，成為一條擴展軸。這個方法是加在既有模型上的一組層，因此原則上也能接到其他開源 VLA 上。這篇論文入圍 CoRL 2026 獎項決選，並以口頭報告發表。作者尚未釋出程式碼或權重，所以目前對開發者來說，價值在於方法與實驗證據，而不是一個可以下載的模型。

問題

多數最先進的機器人基礎模型只根據目前的觀測，或由 2 到 8 張過去畫面組成的短視窗來行動。長時程的操作任務需要更多：外觀相似的階段必須分得清楚，此刻被遮住的物體必須記得，失敗過的策略也應該在下一次嘗試時用上這次失敗。單純把過去的畫面再餵回去往往適得其反，因為策略會抓住自身歷史中的假性模式。對整段歷史做注意力運算的 Transformer 會隨著歷史變長而變慢，即使使用鍵值快取也一樣；而傳統的遞迴神經網路容量太小，無法壓縮數千個時間步、密集又重複的機器人資料。在此之前，沒有任何機器人策略展現過以分鐘計的情境能帶來閉迴路效能的提升。

提出的方法

RoboTTT 在 GR00T N1.7 的擴散 Transformer 動作頭的 16 層中，每一層的注意力層之後都加入一個測試時訓練（TTT）層。注意力仍只在單一時間步內運作，TTT 層則跨時間運作。每個 TTT 層內含一個兩層的小型 MLP，它的權重就是快速權重，在每次有新觀測時做一次梯度更新，把歷史寫進權重，而不是寫進不斷變大的快取，所以每個動作的成本維持不變。一個從接近零開始的可學習閘門，會把 TTT 的輸出混入預訓練模型，以保留原有的能力。模型以完整軌跡訓練，每個動作區塊都有自己的雜訊等級（序列動作強制），並採用截斷的時間反向傳播，讓記憶體用量不隨情境長度增加。因為某些時間步可以只更新快速權重、而不作為模仿目標，同一個模型既能從放在情境中的人類影片學習，也能透過 DAgger Distillation 從這樣的軌跡中學習：自己的錯誤當作情境，人類的修正當作目標。

關鍵見解

• 以梯度更新的快速權重，比線性遞迴狀態更適合當作機器人資料流的記憶：在相同位置與參數量下，Gated DeltaNet 層無法從更長的預訓練情境中得到任何好處，RoboTTT 則持續進步
• 單純加入過去的畫面反而有害：帶一張歷史畫面的 GR00T N1.7 在 Pup Go Car 任務上得到 39.5%，不帶歷史時則是 57%，因為它會從歷史中抓到假性模式
• 訓練序列中的每個動作區塊都需要自己的雜訊等級；若共用同一個等級，序列訓練會不穩定，機器人也無法有實質進展
• 策略失敗的動作作為模仿目標毫無用處，作為情境卻很有價值：以完整的 DAgger 軌跡訓練 GR00T N1.7，結果與只用修正動作相同；而只用失敗來更新快速權重的 DAgger Distillation 進步最多
• 訓練時的情境應涵蓋整個回合：預訓練情境低於 1K 個時間步（約半分鐘，比任何任務回合都短）時，RoboTTT 仍勝過 Gated DeltaNet，但不及較長情境的版本，作者認為原因是執行時超出了訓練中看過的視窗

主要結果

• 在三項真實的雙臂組裝任務上，平均任務完成度為 79%，GR00T N1.7 為 42%（高出 87%），帶一張歷史畫面的版本為 49%，Gated DeltaNet 變體為 56%（比這個最佳基準高 41%）
• 完全成功的試驗：Pup Go Car 20 次中 9 次，Circuit 20 次中 13 次，長達五分鐘、共十個階段的 Gear Bot 10 次中 2 次，也是所有方法中僅有的 Gear Bot 完整完成；基準方法最多只有 3、8 和 0 次
• 閉迴路效能隨預訓練情境增加而提升，8K 個時間步時達到 71.5%，1K 時為 43.9%（高出 63%），最佳短情境基準為 45.6%，且沒有飽和的跡象
• 只憑一段展示未見過 Circuit 配置的人類影片進行單樣本模仿，10 次試驗中成功 6 次，任務完成度 65%；Gated DeltaNet 變體一次都沒有成功
• 當有人拿走機器人剛裝好的零件時，RoboTTT 在車頂試驗中 20 次有 15 次、在輪胎試驗中 20 次有 18 次把零件裝回去，短情境的 GR00T 基準最多只有 20 次中 10 次與 20 次中 11 次
• 利用 100 條 DAgger 軌跡，DAgger Distillation 讓 RoboTTT 進步 36%；一般的 DAgger 微調讓四種方法平均進步 9%
• 消融實驗中，線性快速模型比 MLP 低 27%，讓動作 token 通過 TTT 層帶來 23% 的提升，可學習的暫存器 token 再帶來 18%；單獨加入暫存器 token 對 GR00T N1.7 沒有幫助

限制

• 作者沒有釋出程式碼或權重：截至 2026 年 11 月 8 日，arXiv 紀錄與專案頁面都沒有連到任何儲存庫，NVIDIA 的 GitHub 組織、Isaac-GR00T 儲存庫與 NVIDIA 的 Hugging Face 模型中也都沒有；一個採用 MIT 授權的非官方層實作（lucidrains/robo_ttt）並非出自作者，它只是一套層的函式庫，不是訓練好的策略
• 論文自述的限制：訓練情境越長，運算成本越高；TTT 層使用通用的鍵值損失，而不是為機器人設計的目標；策略無法修正所有失敗；作者建議加入強化學習
• 所有結果都來自同一套機器人平台，也就是一座配有四台攝影機的雙臂 YAM 工作站，在作者實驗室中進行三項玩具組裝任務，每種方法 10 到 20 次試驗，沒有提供信賴區間
• 這個方法只在 GR00T N1.7 上展示過；它也適用於其他機器人基礎模型的說法尚未經過驗證
• 重現需要資料中心等級的硬體：預訓練在 16 張 NVIDIA GB200 GPU 上進行，使用的機器人資料與人類影片混合資料集沒有公開；只有推論能在配備 RTX 5090 的工作站上執行
• 評分採用作者自訂的任務評分準則；摘要寫 8K 相對 1K 的提升為 62%，但內文與報告的分數對應的是 63%

對領域的影響

情境長度一直是語言模型擴展的主要途徑之一，機器人策略卻始終停在一張或寥寥幾張畫面。作者首次報告，當預訓練情境增加到以分鐘計時，真實機器人的閉迴路效能會穩定提升，這讓情境長度成為機器人模型開發者可以量測、並與資料和參數相互權衡的因素。這項研究也把過去主要在語言、影片與 3D 視覺中展現過的測試時訓練帶進機器人控制，並把兩種常見的資料來源變成情境：用於單樣本模仿的人類示範影片，以及 DAgger 介入，其中機器人自己的失敗成為即時修正的訊號。一個不做梯度更新的同類遞迴層（Gated DeltaNet）並沒有呈現同樣的擴展趨勢，顯示關鍵在於更新規則，而不只是有沒有記憶。

摘要

近期的機器人基礎模型只使用單步或短歷史的視覺運動情境。我們提出測試時訓練機器人策略（Test-Time-Training Robot Policies，RoboTTT），這是一個機器人模型與訓練方法，可將視覺運動情境擴展到 8K 個時間步，比最先進的策略多出三個數量級，而且不會增加推論延遲。在這個情境長度下，我們解鎖了新的機器人能力：從人類示範影片進行單樣本情境內模仿、策略的即時改進、對擾動的穩健性，以及在多階段、長時程任務上更好的表現。我們也首次觀察到，隨著預訓練情境長度擴展，閉迴路效能穩定提升。RoboTTT 的核心是把測試時訓練整合進機器人基礎模型，例如 VLA（Vision-Language-Action）策略，從而得到一個序列模型，其遞迴狀態由快速權重構成：這些參數在訓練與推論時都以梯度下降更新，把歷史壓縮進權重空間，並為長情境條件化取回情境資訊。為了擴展訓練時的情境長度，這套方法結合了序列動作強制（sequence action forcing）與截斷的時間反向傳播。在具挑戰性的真實機器人操作任務上，RoboTTT 的整體表現比單步情境基準提升 87%，並能完整完成一項長達五分鐘、共十個階段的組裝任務，這是任何基準方法都從未做到的。以 8K 個時間步情境訓練的 RoboTTT，比同一個模型以 1K 個時間步預訓練的版本高出 62%，顯示情境長度可以成為機器人基礎模型的一條新的擴展軸。影片請見 research.nvidia.com/labs/gear/robottt。

連結

• arXiv 2607.15275: https://arxiv.org/abs/2607.15275
• PDF: https://arxiv.org/pdf/2607.15275
• 專案頁面: https://research.nvidia.com/labs/gear/robottt/