RoboTTT: Context Scaling for Robot Policies

作者: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

为何重要

如今的机器人基础模型，包括 GR00T、pi0 和大多数其他 VLA，都只根据当前的相机画面、最多再加几帧过去的画面来决定每个动作。它们无法分辨长任务中两个看起来相似的阶段，记不住被遮挡的零件放在哪里，也无法从刚刚出错的地方吸取教训。RoboTTT 表明，策略可以带着自己约五分钟的历史运行，而每个动作的开销不增加，并且这种记忆在真实硬件上确实有用：一台双臂机器人看一段人类视频，就能组装一个从未训练过的电路；拧螺丝没对准时会重试，而不是直接进入下一步；有人拿走零件时会把它装回去。论文还报告，预训练上下文从 128 个时间步增加到 8K 时，性能持续上升，这表明上下文长度可以与数据和模型规模并列，成为一条扩展轴。该方法是在现有模型上加入的一组层，因此原则上也可以接到其他开源 VLA 上。论文入围 CoRL 2026 奖项决选，并作口头报告。作者尚未发布代码或权重，因此目前对开发者而言，价值在于方法和实验证据，而不是一个可以下载的模型。

问题

大多数最先进的机器人基础模型只根据当前观测，或 2 到 8 帧过去画面组成的短窗口来行动。长时程操作任务需要更多：要分辨外观相似的阶段，要记住此刻被遮挡的物体，失败过的策略也应在下一次尝试中利用这次失败。简单地把过去的画面再输入回去往往适得其反，因为策略会抓住自身历史中的虚假模式。对整个历史做注意力计算的 Transformer 会随历史增长而变慢，即便使用键值缓存也是如此；而经典循环神经网络的容量太小，无法压缩数千个时间步的密集、重复的机器人数据。此前没有任何机器人策略展示过在以分钟计的上下文下获得闭环性能提升。

提出的方法

RoboTTT 在 GR00T N1.7 的扩散 Transformer 动作头的 16 层中，每层的注意力层之后都加入一个测试时训练（TTT）层。注意力仍只在单个时间步内部工作，TTT 层则跨时间工作。每个 TTT 层包含一个两层的小型 MLP，其权重即快速权重，在每次新观测时进行一次梯度更新，把历史写入权重，而不是写入不断增长的缓存，因此每个动作的开销保持不变。一个从接近零开始的可学习门控，把 TTT 的输出混入预训练模型，以保留其原有能力。模型在完整轨迹上训练，每个动作块都有各自的噪声水平（序列动作强制），并采用截断的时间反向传播，使显存占用不随上下文长度增长。由于某些时间步可以只更新快速权重而不作为模仿目标，同一个模型既能从放在其上下文中的人类视频中学习，也能借助 DAgger Distillation 从这样的轨迹中学习：自己的错误作为上下文，人类的纠正作为目标。

关键见解

用梯度更新的快速权重，比线性循环状态更适合作为机器人数据流的记忆：在位置和参数量相同的情况下，Gated DeltaNet 层从更长的预训练上下文中毫无收益，而 RoboTTT 持续提升
简单地加入过去画面反而有害：带一帧历史的 GR00T N1.7 在 Pup Go Car 任务上得分 39.5%，不带历史时为 57%，因为它会从历史中学到虚假模式
训练序列中的每个动作块都需要自己的噪声水平；若共用一个噪声水平，序列训练就不稳定，机器人也无法取得有意义的进展
策略失败的动作作为模仿目标毫无用处，但作为上下文很有价值：用完整的 DAgger 轨迹训练 GR00T N1.7，效果与只用纠正动作相同；而只用失败来更新快速权重的 DAgger Distillation 收益最大
训练时的上下文应覆盖整个回合：预训练上下文低于 1K 个时间步（约半分钟，比任何任务回合都短）时，RoboTTT 仍胜过 Gated DeltaNet，但不及其更长上下文的版本，作者认为原因是执行时超出了训练中见过的窗口

主要结果

在三项真实双臂组装任务上，平均任务完成度为 79%，GR00T N1.7 为 42%（高出 87%），带一帧历史的版本为 49%，Gated DeltaNet 变体为 56%（比这一最佳基线高 41%）
完全成功的试验：Pup Go Car 20 次中 9 次，Circuit 20 次中 13 次，历时五分钟、共十个阶段的 Gear Bot 10 次中 2 次，这也是所有方法中仅有的 Gear Bot 完整完成；基线方法最多只有 3、8 和 0 次
闭环性能随预训练上下文增长而提升，8K 个时间步时达到 71.5%，1K 时为 43.9%（高出 63%），最佳短上下文基线为 45.6%，且未见饱和迹象
仅凭一段展示未见过的 Circuit 配置的人类视频进行单样本模仿，10 次试验中成功 6 次，任务完成度 65%；Gated DeltaNet 变体一次也未成功
当有人拿走机器人刚装好的零件时，RoboTTT 在车顶试验中 20 次有 15 次、在轮胎试验中 20 次有 18 次把它重新装回，短上下文的 GR00T 基线最多只有 20 次中 10 次和 20 次中 11 次
利用 100 条 DAgger 轨迹，DAgger Distillation 让 RoboTTT 提升 36%；普通的 DAgger 微调让四种方法平均提升 9%
消融实验中，线性快速模型比 MLP 低 27%，让动作 token 经过 TTT 层带来 23% 的提升，可学习的寄存器 token 再带来 18%；单独加入寄存器 token 对 GR00T N1.7 没有帮助

局限

作者未发布代码或权重：截至 2026 年 11 月 8 日，arXiv 记录和项目页面都没有链接任何代码仓库，NVIDIA 的 GitHub 组织、Isaac-GR00T 仓库和 NVIDIA 的 Hugging Face 模型中也都没有；一个采用 MIT 许可的非官方层实现（lucidrains/robo_ttt）并非出自作者，它只是一个层的代码库，不是训练好的策略
论文自述的局限：训练上下文越长，计算成本越高；TTT 层使用通用的键值损失，而不是为机器人设计的目标；策略并不能纠正所有失败；作者建议加入强化学习
所有结果都来自同一套机器人平台，即一个配有四台相机的双臂 YAM 工作站，在作者实验室中完成三项玩具组装任务，每种方法 10 到 20 次试验，没有给出置信区间
该方法只在 GR00T N1.7 上得到展示；它也适用于其他机器人基础模型的说法尚未经过验证
复现需要数据中心级硬件：预训练在 16 块 NVIDIA GB200 GPU 上进行，使用的机器人数据与人类视频混合数据集未公开；只有推理能在配备 RTX 5090 的工作站上运行
评分采用作者自己制定的任务评分细则；摘要称 8K 相对 1K 的提升为 62%，而正文和报告的分数对应 63%

对领域的影响

上下文长度一直是语言模型扩展的主要途径之一，而机器人策略始终停留在一帧或寥寥几帧。作者首次报告，当预训练上下文增长到以分钟计时，真实机器人的闭环性能稳步提升，这让上下文长度成为机器人模型开发者可以测量、并与数据和参数相权衡的因素。该工作还把此前主要在语言、视频和 3D 视觉中展示过的测试时训练带入机器人控制，并把两种常见的数据来源变成上下文：用于单样本模仿的人类演示视频，以及 DAgger 干预，其中机器人自身的失败成为即时纠正的信号。一个不做梯度更新的同类循环层（Gated DeltaNet）没有表现出同样的扩展趋势，说明关键在于更新规则，而不只是拥有记忆。

摘要

近期的机器人基础模型只使用单步或短历史的视觉运动上下文。我们提出测试时训练机器人策略（Test-Time-Training Robot Policies，RoboTTT），这是一种机器人模型及训练方法，可将视觉运动上下文扩展到 8K 个时间步，比最先进的策略高出三个数量级，而且不增加推理延迟。在这一上下文长度下，我们解锁了新的机器人能力：基于人类视频演示的单样本上下文模仿、策略的即时改进、对扰动的鲁棒性，以及在多阶段、长时程任务上更强的表现。我们还首次观察到，随着预训练上下文长度的扩展，闭环性能稳步提升。RoboTTT 的核心是将测试时训练整合进机器人基础模型，例如视觉-语言-动作（Vision-Language-Action）策略，从而得到一个序列模型，其循环状态由快速权重构成：这些参数在训练和推理时都通过梯度下降更新，把历史压缩进权重空间，并为长上下文条件化检索上下文信息。为扩展训练上下文长度，该方法将序列动作强制（sequence action forcing）与截断的时间反向传播相结合。在具有挑战性的真实机器人操作任务上，RoboTTT 的整体表现比单步上下文基线提高 87%，并能完整完成一项历时五分钟、共十个阶段的组装任务，而没有任何基线方法做到过。以 8K 个时间步上下文训练的 RoboTTT，比同一模型以 1K 个时间步预训练的版本高出 62%，这表明上下文长度可以成为机器人基础模型的一条新的扩展轴。视频见 research.nvidia.com/labs/gear/robottt。

链接

arXiv 2607.15275: https://arxiv.org/abs/2607.15275
PDF: https://arxiv.org/pdf/2607.15275
项目主页: https://research.nvidia.com/labs/gear/robottt/