RoboTTT: Context Scaling for Robot Policies

저자: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

중요한 이유

GR00T, pi0를 비롯한 오늘날의 로봇 파운데이션 모델과 대부분의 VLA는 현재 카메라 이미지와 많아야 몇 장의 이전 이미지만으로 각 행동을 정한다. 그래서 긴 작업에서 비슷해 보이는 두 단계를 구분하지 못하고, 가려진 부품의 위치를 기억하지 못하며, 방금 잘못된 일에서 배우지 못한다. RoboTTT는 정책이 자신의 이력 약 오 분을 행동당 추가 비용 없이 지닐 수 있고, 그 기억이 실제 하드웨어에서 효과가 있음을 보여 준다. 양팔 로봇이 사람의 영상 한 편을 보고 학습한 적 없는 회로를 조립하고, 나사를 놓치면 다음 단계로 넘어가지 않고 다시 시도하며, 사람이 떼어 낸 부품을 다시 끼운다. 논문은 또 사전 학습 컨텍스트를 128 타임스텝에서 8K로 늘릴수록 성능이 계속 오른다고 보고하는데, 이는 데이터와 모델 크기와 함께 컨텍스트 길이를 확장 축으로 삼을 수 있음을 시사한다. 기존 모델에 레이어를 더하는 방식이므로 원리상 다른 공개 VLA에도 붙일 수 있다. 이 논문은 CoRL 2026 수상 후보작이자 구두 발표작이다. 저자들은 코드도 가중치도 공개하지 않았으므로, 지금 개발자에게 주는 가치는 내려받을 모델이 아니라 레시피와 실험 근거다.

문제

최신 로봇 파운데이션 모델 대부분은 현재 관측만으로, 또는 이전 이미지 2~8장으로 된 짧은 창으로만 행동한다. 긴 조작 작업에는 그 이상이 필요하다. 비슷해 보이는 단계를 구분해야 하고, 지금은 가려진 물체를 기억해야 하며, 실패한 정책은 다음 시도에서 그 실패를 활용해야 한다. 과거 이미지를 그냥 다시 입력하면 정책이 자기 이력 속의 허위 패턴에 기대게 되어 대개 역효과가 난다. 이력 전체에 어텐션을 거는 Transformer는 키-값 캐시를 써도 이력이 길어질수록 느려지고, 고전적인 순환 신경망은 조밀하고 반복적인 로봇 데이터 수천 타임스텝을 압축하기에는 용량이 너무 작다. 몇 분 길이의 컨텍스트로 폐루프 성능을 높인 로봇 정책은 지금까지 없었다.

제안 방법

RoboTTT는 GR00T N1.7의 확산 Transformer 행동 헤드를 이루는 16개 레이어 각각에서 어텐션 레이어 뒤에 테스트 시점 학습(TTT) 레이어를 추가한다. 어텐션은 여전히 한 타임스텝 안에서 작동하고, TTT 레이어는 시간 축을 따라 작동한다. 각 TTT 레이어에는 두 층짜리 작은 MLP가 있으며, 그 가중치인 빠른 가중치는 새 관측이 들어올 때마다 경사 갱신을 한 번 받는다. 이력은 계속 커지는 캐시가 아니라 가중치에 기록되므로 행동당 비용이 일정하게 유지된다. 영 가까이에서 시작하는 학습 가능한 게이트가 TTT 출력을 사전 학습된 모델에 섞어 기존 능력을 지킨다. 모델은 전체 궤적으로 학습하며, 각 행동 청크에 저마다의 노이즈 수준을 주고(sequence action forcing), 절단된 시간 역전파를 써서 메모리 사용량이 컨텍스트 길이에 따라 늘지 않게 한다. 일부 타임스텝은 모방 목표가 되지 않고 빠른 가중치만 갱신할 수 있으므로, 같은 모델이 컨텍스트에 놓인 사람의 영상에서 배우고, DAgger Distillation을 통해 자신의 실수를 컨텍스트로, 사람의 수정을 목표로 삼는 실행 데이터에서도 배운다.

핵심 통찰

경사로 갱신되는 빠른 가중치는 선형 순환 상태보다 로봇 데이터 흐름의 기억으로 더 낫다. 배치 위치와 파라미터 수를 맞추면 Gated DeltaNet 레이어는 사전 학습 컨텍스트가 길어져도 얻는 것이 없지만, RoboTTT는 계속 좋아진다
과거 이미지를 단순히 더하면 오히려 해롭다. 이력 이미지 한 장을 더한 GR00T N1.7은 Pup Go Car 과제에서 39.5%로, 이력 없이 얻은 57%보다 낮다. 이력에서 허위 패턴을 잡아내기 때문이다
학습 시퀀스의 각 행동 청크에는 저마다의 노이즈 수준이 필요하다. 하나의 수준을 공유하면 시퀀스 학습이 불안정해지고 로봇이 의미 있는 진전을 보이지 못한다
정책의 실패한 행동은 모방 목표로는 쓸모없지만 컨텍스트로는 가치가 있다. 전체 DAgger 실행 데이터로 GR00T N1.7을 학습해도 수정만으로 학습한 것과 결과가 같은 반면, 실패를 빠른 가중치 갱신에만 쓰는 DAgger Distillation이 가장 크게 향상된다
학습 컨텍스트는 에피소드 전체를 덮어야 한다. 1K 타임스텝 미만(약 삼십 초로 어떤 과제 에피소드보다 짧다)으로 사전 학습하면 RoboTTT는 여전히 Gated DeltaNet을 앞서지만 더 긴 컨텍스트 버전에는 못 미친다. 저자들은 실행이 학습 때 본 창을 넘어서 이어지기 때문이라고 본다

주요 결과

실제 양팔 조립 과제 세 가지의 평균 작업 완료도는 79%로, GR00T N1.7의 42%(87% 높음), 이력 이미지 한 장을 더한 버전의 49%, Gated DeltaNet 변형의 56%(이 최고 베이스라인보다 41% 높음)를 앞선다
완전히 성공한 시도는 Pup Go Car 20회 중 9회, Circuit 20회 중 13회, 오 분짜리 열 단계 Gear Bot 10회 중 2회로, 모든 방법을 통틀어 Gear Bot을 끝까지 해낸 유일한 사례다. 베이스라인은 많아야 3회, 8회, 0회였다
폐루프 성능은 사전 학습 컨텍스트와 함께 올라 8K 타임스텝에서 71.5%, 1K에서 43.9%(63% 높음), 최고의 짧은 컨텍스트 베이스라인은 45.6%였으며 포화 조짐은 없었다
본 적 없는 Circuit 구성을 보여 주는 사람 영상 한 편으로 원샷 모방을 하면 10회 중 6회 성공하고 작업 완료도는 65%였다. Gated DeltaNet 변형은 한 번도 성공하지 못했다
로봇이 방금 장착한 부품을 사람이 떼어 내면 RoboTTT는 지붕 시험 20회 중 15회, 타이어 시험 20회 중 18회 다시 장착했다. 짧은 컨텍스트의 GR00T 베이스라인은 많아야 20회 중 10회와 20회 중 11회였다
DAgger 실행 데이터 100개로 DAgger Distillation은 RoboTTT를 36% 향상시켰다. 일반 DAgger 미세 조정은 네 방법을 평균 9% 향상시켰다
어블레이션에서 선형 빠른 모델은 MLP보다 27% 낮았고, 행동 토큰을 TTT 레이어에 통과시키면 23%, 학습된 레지스터 토큰으로 18%가 더 올랐다. 레지스터 토큰만 더하면 GR00T N1.7에는 도움이 되지 않았다

한계

저자의 코드나 가중치가 없다. 2026년 11월 8일 기준으로 arXiv 기록과 프로젝트 페이지 어디에도 저장소 링크가 없고, NVIDIA의 GitHub 조직, Isaac-GR00T 저장소, NVIDIA의 Hugging Face 모델에서도 찾을 수 없다. MIT 라이선스의 비공식 레이어 재구현(lucidrains/robo_ttt)은 저자들이 만든 것이 아니며, 학습된 정책이 아니라 레이어 라이브러리다
논문이 직접 밝힌 한계: 학습 컨텍스트가 길수록 연산 비용이 늘고, TTT 레이어는 로봇용으로 설계한 목표가 아니라 일반적인 키-값 손실을 쓰며, 정책이 모든 실패를 고치지는 못한다. 저자들은 강화 학습을 더할 것을 제안한다
모든 결과는 카메라 네 대를 갖춘 양팔 YAM 스테이션이라는 단일 로봇 환경에서, 저자 연구실의 장난감 조립 과제 세 가지로 얻은 것이며, 방법당 시도는 10~20회이고 신뢰 구간은 제시되지 않았다
이 방법은 GR00T N1.7에서만 시연되었고, 다른 로봇 파운데이션 모델에도 맞는다는 주장은 검증되지 않았다
재현에는 데이터센터급 하드웨어가 필요하다. 사전 학습은 NVIDIA GB200 GPU 16개에서 공개되지 않은 로봇 데이터와 사람 영상의 혼합 데이터로 진행되었다. 워크스테이션(RTX 5090)에서 돌릴 수 있는 것은 추론뿐이다
점수는 저자들이 직접 만든 과제 채점 기준을 따르며, 초록은 8K의 1K 대비 향상을 62%라고 적었지만 본문과 보고된 점수로는 63%다

분야에 미친 영향

컨텍스트 길이는 언어 모델이 확장되어 온 주요 경로 중 하나였지만, 로봇 정책은 이미지 한 장이나 몇 장에 머물러 왔다. 저자들은 사전 학습 컨텍스트를 몇 분까지 늘리면 실제 로봇의 폐루프 성능이 꾸준히 오른다는 것을 처음으로 보고했고, 이로써 컨텍스트 길이는 로봇 모델 개발자가 측정하고 데이터·파라미터와 저울질할 수 있는 요소가 된다. 이 연구는 지금까지 주로 언어, 영상, 3D 비전에서 보여 준 테스트 시점 학습을 로봇 제어로 가져왔고, 익숙한 두 데이터 원천을 컨텍스트로 바꿨다. 원샷 모방을 위한 사람의 시연 영상, 그리고 로봇 자신의 실패가 즉석 수정의 신호가 되는 DAgger 개입이다. 경사 갱신을 하지 않는 비슷한 순환 레이어(Gated DeltaNet)는 같은 확장 경향을 보이지 않았으므로, 결과는 기억을 갖는 것 자체가 아니라 갱신 규칙을 가리킨다.

초록

최근의 로봇 파운데이션 모델은 단일 스텝 또는 짧은 이력의 시각-운동 컨텍스트로 동작한다. 우리는 Test-Time-Training Robot Policies(RoboTTT)를 제안한다. 이는 시각-운동 컨텍스트를 8K 타임스텝까지 늘리는 로봇 모델이자 학습 레시피로, 최신 정책보다 세 자릿수 긴 컨텍스트를 추론 지연 시간을 늘리지 않고 다룬다. 이 컨텍스트 길이에서 새로운 로봇 능력이 열린다. 사람의 영상 시연으로부터의 원샷 인컨텍스트 모방, 즉석 정책 개선, 외란에 대한 강건성, 그리고 다단계·장기 과제에서의 더 높은 성능이다. 또한 사전 학습 컨텍스트 길이를 늘릴수록 폐루프 성능이 꾸준히 향상되는 것을 처음으로 관찰했다. RoboTTT의 핵심은 Vision-Language-Action 정책과 같은 로봇 파운데이션 모델에 테스트 시점 학습을 통합하는 것으로, 그 결과 재귀 상태가 빠른 가중치로 이루어진 시퀀스 모델이 된다. 빠른 가중치는 학습과 추론 모두에서 경사 하강법으로 갱신되는 파라미터로, 이력을 가중치 공간에 압축하고 긴 컨텍스트 조건화를 위해 맥락 정보를 꺼내 쓴다. 학습 컨텍스트 길이를 늘리기 위해 이 레시피는 sequence action forcing과 절단된 시간 역전파를 결합한다. 어려운 실제 로봇 조작 과제에서 RoboTTT는 단일 스텝 컨텍스트 베이스라인보다 전체 성능을 87% 높이고, 어떤 베이스라인도 해내지 못한 오 분짜리 열 단계 조립 과제를 완수한다. 8K 타임스텝 컨텍스트로 학습한 RoboTTT는 1K 타임스텝으로 사전 학습한 같은 모델보다 62% 뛰어나며, 이는 컨텍스트 길이가 로봇 파운데이션 모델의 새로운 확장 축이 될 수 있음을 시사한다. 영상은 research.nvidia.com/labs/gear/robottt에서 볼 수 있다.

링크

arXiv 2607.15275: https://arxiv.org/abs/2607.15275
PDF: https://arxiv.org/pdf/2607.15275
프로젝트 페이지: https://research.nvidia.com/labs/gear/robottt/