T-Rex
給兩隻靈巧手用的觸覺反應策略,附開放權重與觸覺資料集
授權條款
- code: MIT
- released checkpoints and the T-Rex Dataset: MIT
- base model Qwen3-VL-2B-Instruct: Apache 2.0
- vendored Dexmate and Sharpa robot descriptions: Apache 2.0
程式碼:MIT,Copyright 2026 The Regents of the University of California,依 LICENSE。釋出的檢查點與 T-Rex 資料集:MIT,依其 Hugging Face 資訊卡。基礎模型 Qwen3-VL-2B-Instruct:Apache-2.0。程式庫內的例外:隨附的 Dexmate 與 Sharpa 機器人描述檔為 Apache-2.0,硬體系統中的 Dexmate dexcontrol 為 AGPL-3.0。未包含:硬體系統所需的 Sharpa Wave SDK 與 Sharpa Manus SDK,適用 Sharpa 自己的條款。已於 2026-11-08 對照 LICENSE、第三方 README 與 Hugging Face 資訊卡核對。
概述
T-Rex 是一套用於雙手靈巧操作的視覺-語言-動作(VLA)策略,會在動作進行時對指尖的觸覺做出反應,出自 UC Berkeley、NVIDIA、史丹佛大學、Panasonic、羅馬大學 La Sapienza 與 ItalAI 的團隊。一個較慢的動作專家以約 5 Hz 依相機影像和語言指令規劃一段動作,一個小型觸覺專家再以約 20 Hz 依十個指尖量到的力與形變微調這段動作,不必重跑視覺模型。模型以 Qwen3-VL-2B 為基礎,分三個階段訓練:人類第一人稱視角影片、100 小時的機器人觸覺資料集,以及每項任務約 100 筆示範。釋出內容包括預訓練與中期訓練的檢查點、後訓練與推論程式碼、資料集中公開的 50 小時 LeRobot 格式部分,以及在裝有兩隻 Sharpa Wave 手的 Dexmate Vega-1 上錄製這些資料所用的遠端操作系統。論文於 CoRL 2026 發表。
T-Rex 是一套用於靈巧操作的視覺-語言-動作(VLA)策略,把觸覺當成快速的回饋訊號,而不是再多一個靜態輸入。它的骨幹是建立在 Qwen3-VL-2B 視覺語言模型(VLM)上的 Mixture-of-Transformers,內含三個共用注意力的 Transformer 專家:預測未來視覺特徵的潛在專家、以約 5 Hz 用流匹配為 16 步動作片段去除雜訊的動作專家,以及以約 20 Hz 運作的輕量觸覺專家。兩條動作流採串接設計:動作專家負責前半段去雜訊,並把視覺與語言脈絡存入快取;觸覺專家再從這份快取出發,每個片段四次用最新的觸覺讀數完成該片段,因此策略能對打滑或施力過大做出反應,而不必重跑視覺模型。觸覺來自指尖的觸覺感測器,有兩種形式:時序 VQ-VAE 把每個指尖 6 軸力/力矩的一小段時間窗轉成每根手指一個離散 token,另一個獨立的網路則讀取每個指尖的形變圖。
訓練分成三個階段。依照 EgoScale 的做法,潛在專家與動作專家先用 22,889 小時的人類第一人稱視角影片預訓練;接著在 100 小時的 T-Rex 資料集上進行中期訓練,觸覺專家在這個階段從頭訓練;最後用每項任務約 100 筆示範微調策略。資料集是在 Dexmate Vega-1 上以遠端操作錄製,機器人裝有兩隻 22 自由度的 Sharpa Wave 手,每隻手有五個指尖感測器,操作者戴 Manus 手套並使用 VIVE 追蹤器。它把擦拭、剝除、插入、旋轉等 22 種基本動作,搭配 200 多種日常用品。其中約 50 小時、5,464 個 episode 以 LeRobot v3.0 格式公開在 Hugging Face 上,內含頭部與手腕影片、關節狀態與目標、原始與形變觸覺影像,以及指尖的力與力矩。快速入門可以單獨下載 episode 並以 3D 重播,瀏覽器視覺化工具則可抽樣瀏覽資料。
程式庫收錄後訓練與推論程式碼;預訓練與中期訓練程式碼放在 full-pipeline 分支。已釋出的中期訓練檢查點是針對新任務微調的起點,另外也釋出了預訓練檢查點。推論以伺服器形式在一台 GPU 電腦上執行,機器人在每個片段開始時請求一次完整推論,中間只請求觸覺更新。硬體系統提供完整的錄製環境:用手套與追蹤器遠端操作、具碰撞迴避的全手臂逆向運動學、相機與觸覺串流、同步的 episode 錄製、機器人端的策略用戶端,以及把每隻手接到手臂上的手腕支架 STEP 檔。
在論文中,T-Rex 在 12 項真實任務上與六種方法比較,包括翻書頁、移動雞蛋、擠牙膏、開鎖、抽出卡片和鎖燈泡,每項任務測試 16 次。它的平均成功率為 65%,最強的基準 EgoScale 為 35%,π0.5 為 17%;直接幫 π0.5 加上觸覺,反而讓它降到 6%。在作者針對其中六項任務的消融實驗裡,拿掉觸覺後 T-Rex 本身從 65% 降到 42%。這些都是作者在自己機器人上的結果;Panasonic 的公告證實論文於 CoRL 2026 發表。
為何重要
大多數開放的 VLA 策略,包括 openpi 的 π0.5,只靠相機和關節位置行動,所以感覺不到卡片正在打滑或雞蛋快要破掉。T-Rex 以閉迴路方式把觸覺帶進 VLA,並附上實驗室試用所需的一切:從觸覺中期訓練出發的權重、後訓練程式碼、大型公開觸覺資料集,以及錄製它的同一套遠端操作系統。它最重要的心得不只適用於這台機器人:論文中,直接替預訓練好的 VLA 加上觸覺輸入反而讓表現變差,而把觸覺當成慢速規劃器之上一個獨立的快速專家來執行,則明顯提升了表現。這個資料集本身也是模仿學習研究的資源,可以和同一家靈巧手廠商規模小得多的 Robotic Origami Challenge 資料集,以及 OSMO 觸覺手套這類以手套蒐集資料的做法互相搭配。麻煩在硬體:釋出的權重與程式碼都假設是一台裝有兩隻 Sharpa Wave 手及其指尖感測器的 Vega-1,因此大多數實驗室能用資料和方法,卻無法直接執行這些檢查點。
解決的問題
視覺-語言-動作(VLA)策略以每秒幾次的頻率依相機影像規劃,太慢也太粗略,掌握不了那些決定書頁能不能翻過去、雞蛋是否完好、卡片能不能抽出來的力。T-Rex 加入一個快速的觸覺專家,在每個動作片段內依指尖的力與形變修正規劃好的動作,並提供學習這種行為所需的開放觸覺資料集與訓練方法。
重點
- 給兩隻靈巧手用的開放觸覺 VLA,以 Qwen3-VL-2B 為基礎,含潛在、動作與觸覺三個專家
- 慢速動作專家以約 5 Hz 規劃,快速觸覺專家以約 20 Hz 微調每個片段
- 時序 VQ-VAE 把指尖力與力矩的歷史轉成每根手指一個 token
- 以人類第一人稱視角影片、100 小時的機器人觸覺資料集和每項任務約 100 筆示範訓練
- 預訓練與中期訓練檢查點、後訓練程式碼,以及 50 小時 LeRobot 格式觸覺資料,都以 MIT 授權公開
- 在作者的測試中,12 項大量接觸的任務平均成功率為 65%,最強基準為 35%
適用對象
- 想替 VLA 策略加入觸覺的機器人學習研究人員
- 擁有靈巧手與指尖觸覺感測器的實驗室,特別是 Sharpa Wave 使用者
- 建立觸覺或雙手遠端操作資料集的團隊
- 研究多速率控制與觸覺表徵的研究人員
限制
- 檢查點與推論用戶端只為一個平台打造:裝有兩隻 Sharpa Wave 手及其指尖感測器的 Dexmate Vega-1;其他機器人需要新資料與後訓練
- 資料集 100 小時中只公開約 50 小時,預訓練與中期訓練的語料也沒有釋出,因此無法重現完整訓練
- 公開資料集約 1.4 TB,訓練腳本預設每個節點 8 張 GPU;論文列出其訓練使用 24 張 NVIDIA H100 GPU
- 所有結果都出自作者本身、在他們的機器人上、每項任務約 100 筆示範,目前還沒有外部重現
- 硬體系統內含 AGPL-3.0 授權的 Dexmate dexcontrol,且需要 Sharpa Wave SDK 與 Sharpa Manus SDK,這兩者不在程式庫內,適用 Sharpa 自己的條款
- Vive 追蹤器伺服器只能在 Windows 上執行,完整的錄製環境需要四台電腦