T-Rex
二本の器用なハンド向けの触覚反応ポリシー。オープンな重みと触覚データセット付き
ライセンス
- code: MIT
- released checkpoints and the T-Rex Dataset: MIT
- base model Qwen3-VL-2B-Instruct: Apache 2.0
- vendored Dexmate and Sharpa robot descriptions: Apache 2.0
コード: MIT、Copyright 2026 The Regents of the University of California、LICENSE による。公開チェックポイントと T-Rex データセット: MIT、各 Hugging Face カードによる。ベースモデル Qwen3-VL-2B-Instruct: Apache-2.0。リポジトリ内の例外: 同梱の Dexmate と Sharpa のロボット記述は Apache-2.0、ハードウェアスタック内の Dexmate dexcontrol は AGPL-3.0。含まれないもの: ハードウェアスタックに必要な Sharpa Wave SDK と Sharpa Manus SDK。Sharpa 独自の条件による。2026-11-08 に LICENSE、サードパーティの README、Hugging Face カードと照合。
概要
T-Rexは、動きながら指先の触覚に反応する、両手の器用な操作のための視覚・言語・行動(VLA)ポリシーです。UC Berkeley、NVIDIA、Stanford、パナソニック、ローマ・ラ・サピエンツァ大学、ItalAIのチームが開発しました。低速の行動エキスパートがカメラ画像と言語指示から約 5 Hz で動作の一区切りを計画し、小さな触覚エキスパートが十本の指先で測った力と変形をもとに約 20 Hz でその区切りを補正します。視覚モデルを再実行する必要はありません。モデルは Qwen3-VL-2B をベースに、人の一人称視点動画、100 時間のロボット触覚データセット、タスクごとに約 100 件のデモという三段階で学習します。公開物には、事前学習と中間学習のチェックポイント、事後学習と推論のコード、データセットのうち LeRobot 形式で公開された 50 時間分、そして Sharpa Wave ハンド二基を備えた Dexmate Vega-1 でそれを収録した遠隔操作スタックが含まれます。論文は CoRL 2026 で発表されます。
T-Rex は器用な操作のための視覚・言語・行動(VLA)ポリシーで、触覚を静的な入力の一つとしてではなく、速いフィードバック信号として使います。バックボーンは Qwen3-VL-2B という視覚言語モデルの上に構築した Mixture-of-Transformers で、アテンションを共有する三つのトランスフォーマーエキスパートを持ちます。将来の視覚特徴を予測する潜在エキスパート、フローマッチングで 16 ステップの行動チャンクを約 5 Hz でノイズ除去する行動エキスパート、そして約 20 Hz で動く軽量な触覚エキスパートです。二つの行動の流れはカスケード構成です。行動エキスパートがノイズ除去の前半を担当して視覚と言語の文脈をキャッシュし、触覚エキスパートがそのキャッシュから新しい触覚の読み取り値を使ってチャンクごとに四回仕上げます。そのためポリシーは、視覚モデルを再実行せずに滑りや押し込み過ぎに対応できます。触覚は指先の触覚センサから二つの形で入ります。時系列 VQ-VAE が各指先の 6 軸の力・トルクの短い時間窓を指ごとに一つの離散トークンへ変換し、別のネットワークが各指先の変形マップを読み取ります。
学習は三段階です。EgoScale にならい、潜在エキスパートと行動エキスパートを 22,889 時間分の人の一人称視点動画で事前学習します。次に 100 時間の T-Rex データセットで中間学習を行い、触覚エキスパートはこの段階でゼロから学習します。最後に、タスクごとに約 100 件のデモでポリシーを微調整します。データセットは Dexmate の Vega-1 で遠隔操作により収録しました。ロボットには 22 自由度の Sharpa Wave ハンドが二基あり、各ハンドに指先センサが五つあります。操作には Manus のグローブと VIVE トラッカーを使います。拭く、むく、差し込む、ひねるといった 22 種類の基本動作と、200 種類以上の日用品を組み合わせています。そのうち約 50 時間、5,464 エピソードが Hugging Face で LeRobot v3.0 形式で公開されており、頭部と手首の動画、関節の状態と目標値、生の触覚画像と変形画像、指先の力とモーメントを含みます。クイックスタートでは個々のエピソードをダウンロードして 3D で再生でき、ブラウザ用ビジュアライザーではデータのサンプルを見られます。
リポジトリには事後学習と推論のコードがあり、事前学習と中間学習のコードは full-pipeline ブランチにあります。公開された中間学習チェックポイントが新しいタスクへ微調整する出発点で、事前学習チェックポイントも公開されています。推論は GPU マシン上のサーバーとして動き、ロボットは各チャンクの開始時に完全な推論を、その間は触覚だけの更新を要求します。ハードウェアスタックは収録環境一式を提供します。グローブとトラッカーによる遠隔操作、衝突回避付きの腕全体の逆運動学、カメラと触覚のストリーミング、同期したエピソード収録、ロボット側のポリシークライアント、そして各ハンドを腕に取り付ける手首マウントの STEP ファイルです。
論文では、T-Rex を六つの手法と 12 の実タスクで比較しています。本のページをめくる、卵を移す、歯磨き粉を塗る、錠を開ける、カードを引き抜く、電球をねじ込むなどで、各タスク 16 回試行しました。平均成功率は 65% で、最も強いベースラインの EgoScale は 35%、π0.5 は 17% でした。π0.5 に触覚を単純に加えると 6% に下がりました。著者による六つのタスクでのアブレーションでは、触覚をなくすと T-Rex 自体も 65% から 42% に下がります。これらは著者自身のロボットでの著者自身の結果です。パナソニックの発表で、論文が CoRL 2026 で発表されることが確認できます。
重要な理由
openpi の π0.5 を含め、オープンな VLA ポリシーの多くはカメラと関節位置だけで動くため、カードが滑っていることや卵が割れそうなことを感じ取れません。T-Rex は触覚をクローズドループとして VLA に取り込み、研究室が試すのに必要なものを一式そろえています。触覚の中間学習から始まる重み、事後学習のコード、大規模な公開触覚データセット、そしてそれを収録したのと同じ遠隔操作スタックです。いちばんの教訓はこのロボットに限りません。論文では、事前学習済みの VLA に触覚入力を単純に足すと性能が下がり、触覚を低速のプランナーの上で動く独立した高速エキスパートとして扱うと明確に向上しました。データセットはそれ自体が模倣学習研究の資源にもなり、同じハンドメーカーによるずっと小規模な Robotic Origami Challenge や、OSMO 触覚グローブのようなグローブによる収集と並ぶものです。難点はハードウェアです。公開された重みとコードは Sharpa Wave ハンド二基とその指先センサを備えた Vega-1 を前提としているため、多くの研究室はデータと手法は使えても、チェックポイントをそのまま動かすことはできません。
解決する課題
視覚・言語・行動(VLA)ポリシーはカメラ画像から毎秒数回の頻度で計画するため、ページがめくれるか、卵が無事か、カードが抜けるかを左右する力を扱うには遅すぎ、粗すぎます。T-Rex は、各行動チャンクの中で指先の力と変形から計画した動きを補正する高速な触覚エキスパートを加え、その振る舞いを学ぶのに必要なオープンな触覚データセットと学習手順を提供します。
主なポイント
- 二本の器用なハンド向けのオープンな触覚 VLA。Qwen3-VL-2B をベースに潜在・行動・触覚の三つのエキスパートを持つ
- 低速の行動エキスパートが約 5 Hz で計画し、高速の触覚エキスパートが各チャンクを約 20 Hz で補正する
- 時系列 VQ-VAE が指先の力とトルクの履歴を指ごとに一つのトークンに変換する
- 人の一人称視点動画、100 時間のロボット触覚データセット、タスクごとに約 100 件のデモで学習
- 事前学習と中間学習のチェックポイント、事後学習コード、LeRobot 形式の 50 時間分の触覚データを MIT ライセンスで公開
- 著者の試験では、接触の多い 12 タスクで平均成功率 65%、最も強いベースラインは 35%
対象
- VLA ポリシーに触覚を加えたいロボット学習の研究者
- 器用なハンドと指先触覚センサを持つ研究室、特に Sharpa Wave のユーザー
- 触覚や両手の遠隔操作データセットを作るチーム
- マルチレート制御や触覚表現を研究する研究者
制限事項
- チェックポイントと推論クライアントは一つのプラットフォーム、すなわち Sharpa Wave ハンド二基とその指先センサを備えた Dexmate Vega-1 向けで、他のロボットには新しいデータと事後学習が必要
- データセット 100 時間のうち公開は約 50 時間で、事前学習と中間学習のコーパスも公開されていないため、学習全体は再現できない
- 公開データセットは約 1.4 TB あり、学習スクリプトは 8 GPU のノードを前提としている。論文は学習に NVIDIA H100 GPU 24 基を使ったとしている
- 結果はすべて著者自身によるもので、自前のロボット、タスクごとに約 100 件のデモで得られており、外部での再現はまだない
- ハードウェアスタックは AGPL-3.0 の Dexmate dexcontrol を同梱し、Sharpa Wave SDK と Sharpa Manus SDK を必要とする。これらはリポジトリに含まれず、Sharpa 独自の条件で提供される
- Vive トラッカーのサーバーは Windows でしか動かず、収録環境一式には四台のマシンが要る