Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RoboTTT: Context Scaling for Robot Policies

著者: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan · CoRL 2026 2026

重要な理由

GR00T や pi0 をはじめ、今日のロボット向け基盤モデルと大半の VLA は、現在のカメラ画像と、せいぜい数枚の過去画像だけから各行動を決めている。そのため、長いタスクの中で見た目の似た二つの段階を区別できず、隠れた部品の位置を覚えておけず、直前の失敗から学ぶこともできない。RoboTTT は、ポリシーが自分の履歴を約五分間保持しても行動あたりのコストが増えないこと、そしてその記憶が実機で効果を発揮することを示した。双腕ロボットが人間の動画一本を見て、学習したことのない回路を組み立て、ねじを外したら次に進まずにやり直し、人が取り外した部品を付け直す。論文はさらに、事前学習のコンテキストを 128 タイムステップから 8K まで伸ばしても性能が上がり続けると報告しており、データ量やモデル規模と並ぶスケーリング軸としてコンテキスト長が浮かび上がる。手法は既存モデルに層を追加するものなので、原理的には他のオープンな VLA にも組み込める。この論文は CoRL 2026 のアワードファイナリストであり、口頭発表にも選ばれている。著者はコードも重みも公開していないため、現時点で開発者にとっての価値は、ダウンロードできるモデルではなく、レシピと実験結果にある。

課題

最先端のロボット向け基盤モデルの多くは、現在の観測だけか、2 から 8 枚の過去画像からなる短いウィンドウだけをもとに行動する。長いマニピュレーションタスクにはそれ以上が必要だ。見た目の似た段階を区別し、今は隠れている物体を覚えておき、失敗したポリシーは次の試行でその失敗を生かすべきである。過去の画像をそのまま入力に戻すと、ポリシーが自分の履歴の中の見せかけのパターンに頼ってしまうため、たいてい逆効果になる。履歴全体に注意を向けるトランスフォーマーは、KV キャッシュを使っても履歴が伸びるほど遅くなり、従来の再帰型ニューラルネットワークは、密で反復の多い数千タイムステップ分のロボットデータを圧縮するには容量が小さすぎる。数分にわたるコンテキストで閉ループ性能が上がることを示したロボットポリシーは、これまでなかった。

提案手法

RoboTTT は、GR00T N1.7 の拡散トランスフォーマー型アクションヘッドを構成する 16 層のそれぞれで、アテンション層の後にテスト時学習（TTT）層を追加する。アテンションは引き続き単一のタイムステップ内で働き、TTT 層は時間方向に働く。各 TTT 層は二層の小さな MLP を持ち、その重み、つまり高速重みは新しい観測のたびに勾配による更新を一回受ける。履歴は伸び続けるキャッシュではなく重みに書き込まれるため、行動あたりのコストは一定に保たれる。ゼロ付近から始まる学習可能なゲートが TTT の出力を事前学習済みモデルに混ぜ込み、もとの能力を保つ。モデルは軌道全体で学習され、各アクションチャンクにそれぞれ別のノイズレベルを与え（sequence action forcing）、打ち切り型の通時的誤差逆伝播を使うことで、メモリ使用量がコンテキスト長とともに増えないようにしている。一部のタイムステップは模倣の目標にならずに高速重みだけを更新できるため、同じモデルがコンテキストに置かれた人間の動画から学び、さらに DAgger Distillation により、自分の失敗をコンテキスト、人間の修正を目標とする実行データからも学ぶ。

主な知見

  • 勾配で更新される高速重みは、線形の再帰状態よりもロボットのデータストリームの記憶に向いている。配置とパラメータ数を揃えると、Gated DeltaNet 層は事前学習のコンテキストを伸ばしても何も得られないが、RoboTTT は改善し続ける
  • 過去の画像を単純に加えると逆効果になる。履歴画像を一枚加えた GR00T N1.7 は Pup Go Car タスクで 39.5% にとどまり、履歴なしの 57% を下回る。履歴から見せかけのパターンを拾ってしまうためである
  • 学習系列の中のアクションチャンクには、それぞれ別のノイズレベルが必要である。ノイズレベルを共有すると系列学習が不安定になり、ロボットは意味のある進捗を出せない
  • ポリシーの失敗した行動は模倣の目標としては役に立たないが、コンテキストとしては価値がある。DAgger の実行データ全体で GR00T N1.7 を学習しても修正だけで学習した場合と同じ結果になる一方、失敗を高速重みの更新だけに使う DAgger Distillation が最も大きく改善する
  • 学習時のコンテキストはエピソード全体をカバーすべきである。1K タイムステップ未満（約三十秒で、どのタスクのエピソードよりも短い）で事前学習すると、RoboTTT は Gated DeltaNet には勝つものの、より長いコンテキストの版には及ばない。著者は、実行が学習時に見たウィンドウを超えて続くためだとしている

主な結果

  • 実機での三つの双腕組み立てタスクにおける平均タスク達成度は 79% で、GR00T N1.7 の 42%（87% 高い）、履歴画像一枚付きの 49%、Gated DeltaNet 版の 56%（この最良のベースラインより 41% 高い）を上回る
  • 完全成功した試行は Pup Go Car で 20 回中 9 回、Circuit で 20 回中 13 回、五分間・十段階の Gear Bot で 10 回中 2 回で、これは全手法を通じて Gear Bot を最後までやり遂げた唯一の例である。ベースラインは最多でも 3 回、8 回、0 回だった
  • 閉ループ性能は事前学習のコンテキストとともに上がり、8K タイムステップで 71.5%、1K で 43.9%（63% 高い）、最良の短コンテキストのベースラインは 45.6% で、頭打ちの兆候は見られない
  • 見たことのない Circuit 構成を示す人間の動画一本からのワンショット模倣は、10 回中 6 回成功し、タスク達成度は 65% だった。Gated DeltaNet 版は一回も成功しなかった
  • ロボットが取り付けたばかりの部品を人が取り外すと、RoboTTT は屋根の試行で 20 回中 15 回、タイヤの試行で 20 回中 18 回付け直した。短コンテキストの GR00T ベースラインは最多でも 20 回中 10 回と 20 回中 11 回だった
  • 100 本の DAgger 実行データを使い、DAgger Distillation は RoboTTT を 36% 改善した。通常の DAgger ファインチューニングでは四つの手法が平均 9% 改善した
  • アブレーションでは、線形の高速モデルは MLP より 27% 低く、アクショントークンを TTT 層に通すと 23%、学習済みのレジスタトークンでさらに 18% 向上した。レジスタトークンだけを加えても GR00T N1.7 は改善しなかった

制限事項

  • 著者によるコードや重みは公開されていない。2026 年 11 月 8 日時点で、arXiv の記録にもプロジェクトページにもリポジトリへのリンクはなく、NVIDIA の GitHub 組織、Isaac-GR00T リポジトリ、NVIDIA の Hugging Face モデルのいずれにも見当たらない。MIT ライセンスの非公式な層の再実装（lucidrains/robo_ttt）は著者によるものではなく、学習済みポリシーではなく層のライブラリである
  • 論文自身が挙げる限界：学習時のコンテキストが長いほど計算コストが増える。TTT 層はロボット向けに設計された目的関数ではなく汎用のキー・バリュー損失を使っている。ポリシーはすべての失敗を修正できるわけではない。著者は強化学習を組み合わせることを提案している
  • 結果はすべて、カメラ四台を備えた双腕 YAM ステーションという一つのロボット環境で、著者の研究室における三つのおもちゃの組み立てタスクから得られたもので、手法ごとの試行は 10 から 20 回、信頼区間は示されていない
  • 手法は GR00T N1.7 上でしか示されておらず、他のロボット向け基盤モデルにも適用できるという主張は検証されていない
  • 再現にはデータセンター級のハードウェアが要る。事前学習は 16 基の NVIDIA GB200 GPU で、公開されていないロボットデータと人間の動画の混合データを使って行われた。ワークステーション（RTX 5090）に収まるのは推論だけである
  • スコアは著者独自のタスク評価基準によるもので、アブストラクトでは 8K の 1K に対する向上を 62% としているが、本文と報告されたスコアからは 63% になる

分野への影響

コンテキスト長は言語モデルをスケールさせる主要な手段の一つだったが、ロボットのポリシーは画像一枚か数枚にとどまってきた。著者は、事前学習のコンテキストを数分まで伸ばすと実機での閉ループ性能が着実に向上することを初めて報告しており、これによりコンテキスト長は、ロボットモデルの開発者が測定し、データやパラメータと比較検討できる要素になる。また、これまで主に言語、動画、3D ビジョンで示されてきたテスト時学習をロボット制御に持ち込み、二つのおなじみのデータ源をコンテキストに変えた。ワンショット模倣のための人間のデモ動画と、ロボット自身の失敗がその場での修正の手がかりになる DAgger の介入である。勾配更新を行わない同等の再帰層（Gated DeltaNet）では同じスケーリングが見られなかったことから、決め手は記憶を持つことそのものではなく、更新規則にあることがうかがえる。

概要

近年のロボット向け基盤モデルは、単一ステップまたは短い履歴の視覚運動コンテキストで動作している。我々は Test-Time-Training Robot Policies（RoboTTT）を提案する。これは視覚運動コンテキストを 8K タイムステップまで拡張するロボットモデルと学習レシピであり、最先端のポリシーより三桁長いコンテキストを、推論レイテンシを増やすことなく扱う。このコンテキスト長で、新たなロボット能力が得られる。人間の動画デモンストレーションからのワンショットのインコンテキスト模倣、その場でのポリシー改善、外乱へのロバスト性、そして多段階で長いホライズンのタスクでのより高い性能である。また、事前学習のコンテキスト長を伸ばすにつれて閉ループ性能が着実に向上することを初めて確認した。RoboTTT の中核は、Vision-Language-Action ポリシーのようなロボット向け基盤モデルにテスト時学習を組み込むことであり、その結果、再帰状態が高速重みからなる系列モデルが得られる。高速重みは学習時と推論時の両方で勾配降下により更新されるパラメータで、履歴を重み空間に圧縮し、長いコンテキストでの条件付けのために文脈情報を取り出す。学習時のコンテキスト長を伸ばすため、このレシピは sequence action forcing と打ち切り型の通時的誤差逆伝播を組み合わせる。難しい実ロボットのマニピュレーションタスクで、RoboTTT は単一ステップのコンテキストを使うベースラインより全体性能を 87% 向上させ、五分間・十段階の組み立てタスクを完遂する。これはどのベースラインも一度も達成していない。8K タイムステップのコンテキストで学習した RoboTTT は、1K タイムステップで事前学習した同じモデルを 62% 上回り、コンテキスト長がロボット向け基盤モデルの新たなスケーリング軸となりうることを示唆している。動画は research.nvidia.com/labs/gear/robottt で公開されている。

リンク

  • arXiv 2607.15275: https://arxiv.org/abs/2607.15275
  • PDF: https://arxiv.org/pdf/2607.15275
  • プロジェクトページ: https://research.nvidia.com/labs/gear/robottt/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。