Transformer Transformer
目標動作からロボット本体を生成し、そのまま制御する拡散モデル
ライセンス
MIT
LICENSEファイルがMITの本文に例外条項を追記したものであるため、GitHubはこのリポジトリのライセンスを認識していません(NOASSERTION)。2026-09-10に確認:リポジトリは、ファイルが明示的に挙げる4つの例外を除きMITです。t2/model/core.py(MetaのDiTから派生)と、t2/model/utils.py内の位置埋め込み(positional embedding)ヘルパー(MetaのMAEから派生)は元のAttribution-NonCommercialライセンスのままであり、これらのファイルは商用利用できません。t2/mjx_env/はBraxとMuJoCo Playgroundから引き継いだApache-2.0で、t2/train/augment.py内の回転ヘルパーはPyTorch3D由来のBSD-3-Clauseです。assets/mjcf/以下のロボットアセットは、ディレクトリごとの独自のLICENSEファイルに従います。
概要
Transformer Transformer は、目標となるエンドエフェクタ軌道とユーザ定義の報酬関数を受け取り、それに合わせた完全なロボット——すべてのリンク、関節、モータ、慣性特性——を生成し、続いて同じネットワークがそのロボットを制御して軌道を追従させます。基盤となるのは RoboTokens で、ロボットの身体・状態・行動を型付きで統一的にトークン化したものです。同じトークナイザが 6 自由度アームでも 35 自由度の二足歩行ロボットでも扱えるため、一つのネットワークが生成器・評価器・身体横断コントローラを同時に担います。リポジトリには論文の背後にあるスタック一式が含まれます。RoboToken トークナイザ、パラメータ化された設計空間上での手続き的ロボット生成、Mink と強化学習コントローラによるデータ生成、制御と協調設計の双方に対する学習と推論、CMA-ES ベースライン、そして論文の可視化を生んだ Blender パイプラインです。
モデルは DiT を基礎とし DDIM のノイズスケジュールを用いた拡散トランスフォーマーで、RoboToken 列の上で学習されています。条件として与えるトークン以外のすべてにノイズが加えられ、マスクを変えると役割が変わります。すべてマスクすれば無条件のロボット生成器、行動をマスクすれば身体横断コントローラ、身体をマスクすれば動作条件付きの設計器になります。同じネットワークが設計とその動力学の両方を予測するため、その予測をユーザが書き下した任意の報酬関数に流し込めます。報酬は身体トークンについて微分可能なので、その勾配をノイズ除去の各ステップに戻せます。著者らはこれを Dynamics Self-Guidance と呼び、学習時に一度も見ていない報酬を再学習なしに推論時に最適化できるのはこの仕組みによります。
公開されているのはモデルだけではありません。三つの設計空間——ViperX の運動学空間、四足マニピュレータ、皿洗いを軸にした車輪付き双腕空間——にわたる 10 本の事前学習済み実行が、動作軌道データと SHA256SUMS とともに real.stanford.edu で配布されており、各実行ディレクトリには重みと並んで学習設定が置かれています。環境構築は Python 3.12 上の uv で行い、インストール確認では何もダウンロードする前に、数百体のランダム生成ロボットと MuJoCo Menagerie のモデルを CPU 上でトークナイザに往復させます。実運用には Ubuntu と比較的新しい NVIDIA ドライバが要ります。macOS では uv が CPU 専用ホイールを解決するため、この確認は通っても評価や学習には足りません。
重要な理由
ロボットの協調設計はこれまで概ね進化的探索の問題でした。身体を提案し、シミュレータに通し、成績の良いものを残す——それを報酬関数ごとに何時間も繰り返すのです。これを条件付き生成として定式化し直すと数秒に縮み、新しい報酬は最適化のやり直しではなく推論時の引数になります。そして公開の仕方が着想と同じくらい重要です。重み・データ・実際に製作した結果がすべて公開されているため、「生成された身体が手設計を上回る」という主張は、言い張られるだけでなく検証できます。
解決する課題
方策はそれが動く身体以上には良くなれません。しかしその身体を選ぶことは、手作業の反復か、報酬を変えるたびに何時間ものシミュレーションを要するブラックボックス探索を意味してきました。Transformer Transformer は、身体を「望む動作から生成するもの」に変え、生成したのと同じネットワークで設計を検証します。
主なポイント
- RoboTokens は任意の剛体関節ロボットを 28〜101 個の型付きトークンにし、等価な MJCF テキストより 27〜110 倍コンパクトになる。ロボット一体をまるごと拡散できるのはこれが理由
- マスクするトークンを変えるだけで、同じネットワークが無条件のロボット生成器・身体横断コントローラ・動作条件付き設計器の三役を果たす
- Dynamics Self-Guidance はモデル自身の動力学予測をユーザ提供の報酬に通して微分するため、学習時に見ていない報酬でも推論時に最適化できる
- 三つの設計空間にわたる 10 本の事前学習済み実行が、それぞれを生んだ学習設定・動作軌道データ・チェックサムとともに公開されている
- 布のフリンギング向けに生成された ALOHA 2 改設計は実際に製作され、元のアームに対して追従誤差を 73%、関節最大速度を 30% 低減した
- 複数軌道の双腕最適化で CMA-ES ベースラインは 3 時間以上を要したが、本モデルは 1 分未満で同等の報酬に到達した
対象
- ロボットの協調設計・形態最適化の研究者
- 身体横断制御と拡散方策の研究者
- 手続き的なロボット設計空間を構築する MuJoCo / MJX ユーザ
- 製作に踏み切る前にアーム形状や取り付け方を評価するハードウェアチーム
制限事項
- RoboTokens はプリミティブベースの形状しか扱えず、任意メッシュや変形体には対応せず、周囲のシーンや接触目標も符号化しない
- 身体横断コントローラは拡散生成された身体において強化学習オラクルとのピアソン相関が r = 0.53 にとどまるため、生成された設計は依然としてシミュレーションでの検証を要する
- 推論時の計算量は 1 分ほどで頭打ちになり、それ以上サンプリングしても設計は改善し続けない
- 全身コントローラの学習データ生成は高価で、離散的な設計選択ごとに強化学習の専門方策が 1 本必要になり、1 本あたり A100 でおよそ 16 時間かかる
- 一律の MIT ではない。DiT 由来のバックボーンファイルと MAE 由来の位置符号化ユーティリティは上流の Attribution-NonCommercial 条項のままで、これらのファイルの商用利用はできない
- 実質的に Linux と比較的新しい NVIDIA ドライバが前提。macOS では uv が CPU 専用ホイールを解決し、トークナイザの動作確認は通るが評価や学習は行えない
- WANDB_MODE=offline を明示しない限り、すべてのスクリプトが Weights & Biases にログを送る