T-Rex
Policy reattiva al tatto per due mani robotiche, con pesi aperti e dati tattili
Licenza
- code: MIT
- released checkpoints and the T-Rex Dataset: MIT
- base model Qwen3-VL-2B-Instruct: Apache 2.0
- vendored Dexmate and Sharpa robot descriptions: Apache 2.0
Codice: MIT, Copyright 2026 The Regents of the University of California, secondo LICENSE. Checkpoint rilasciati e dataset T-Rex: MIT, secondo le loro schede su Hugging Face. Modello di base Qwen3-VL-2B-Instruct: Apache-2.0. Eccezioni nel repository: le descrizioni dei robot Dexmate e Sharpa incluse sono Apache-2.0, e dexcontrol di Dexmate nello stack hardware è AGPL-3.0. Non inclusi: gli SDK Sharpa Wave e Sharpa Manus necessari allo stack hardware, con condizioni proprie di Sharpa. Verificato il 2026-11-08 su LICENSE, i README dei componenti di terze parti e le schede di Hugging Face.
Panoramica
T-Rex è una policy Vision-Language-Action per la manipolazione fine a due mani che reagisce al tatto dei polpastrelli mentre si muove. Nasce da un gruppo di UC Berkeley, NVIDIA, Stanford, Panasonic, Sapienza Università di Roma e ItalAI. Un esperto d'azione lento pianifica un tratto di movimento da immagini di telecamera e da un'istruzione in linguaggio naturale a circa 5 Hz, e un piccolo esperto tattile rifinisce quel tratto a circa 20 Hz in base alle forze e alle deformazioni misurate su dieci polpastrelli, senza rieseguire il modello visivo. Il modello si basa su Qwen3-VL-2B ed è addestrato in tre fasi: video egocentrici di persone, un dataset tattile robotico di 100 ore e circa 100 dimostrazioni per compito. Il rilascio comprende i checkpoint di preaddestramento e di addestramento intermedio, il codice di post-addestramento e inferenza, una parte pubblica di 50 ore del dataset in formato LeRobot e lo stack di teleoperazione usato per registrarlo su un Dexmate Vega-1 con due mani Sharpa Wave. L'articolo viene presentato a CoRL 2026.
T-Rex è una policy Vision-Language-Action (VLA) per la manipolazione fine che usa il tatto come segnale di retroazione rapido e non come un ingresso statico in più. Il suo backbone è un Mixture-of-Transformers costruito sul modello Vision-Language (VLM) Qwen3-VL-2B, con tre esperti Transformer che condividono l'attenzione: un esperto latente che prevede le caratteristiche visive future, un esperto d'azione che rimuove il rumore da un tratto d'azione di 16 passi con flow matching a circa 5 Hz, e un esperto tattile leggero che gira a circa 20 Hz. I due flussi d'azione sono in cascata: l'esperto d'azione esegue la prima parte della rimozione del rumore e mette in cache il suo contesto visivo e linguistico, poi l'esperto tattile completa il tratto da quella cache con letture tattili fresche quattro volte per tratto, così la policy può reagire a uno scivolamento o a una pressione eccessiva senza rieseguire il modello visivo. Il tatto arriva da sensori tattili sui polpastrelli, in due forme: un VQ-VAE temporale trasforma una breve finestra di forza e coppia su 6 assi di ogni polpastrello in un token discreto per dito, e una rete separata legge la mappa di deformazione di ogni polpastrello.
L'addestramento si svolge in tre fasi. Sulla scia di EgoScale, l'esperto latente e quello d'azione sono preaddestrati su 22.889 ore di video egocentrici di persone; segue un addestramento intermedio sul dataset T-Rex di 100 ore, in cui l'esperto tattile viene addestrato da zero; infine la policy viene messa a punto su circa 100 dimostrazioni per compito. Il dataset è stato registrato in teleoperazione su un Vega-1 di Dexmate con due mani Wave di Sharpa a 22 DoF, ciascuna con cinque sensori sui polpastrelli, usando guanti Manus e tracker VIVE. Abbina 22 primitive motorie, come pulire, sbucciare, inserire e ruotare, a oltre 200 oggetti domestici. Circa 50 ore, 5.464 episodi, sono pubbliche su Hugging Face in formato LeRobot v3.0, con video della testa e dei polsi, stati e obiettivi dei giunti, immagini tattili grezze e di deformazione, e forze e momenti ai polpastrelli. Una guida rapida scarica singoli episodi e li riproduce in 3D, e un visualizzatore nel browser ne mostra dei campioni.
Il repository contiene il codice di post-addestramento e inferenza; il codice di preaddestramento e di addestramento intermedio è nel branch full-pipeline. Il checkpoint di addestramento intermedio pubblicato è il punto di partenza per adattare il modello a un nuovo compito, ed è disponibile anche un checkpoint di preaddestramento. L'inferenza gira come server su una macchina con GPU, che il robot interroga per un passaggio completo all'inizio di ogni tratto e per aggiornamenti solo tattili nel mezzo. Lo stack hardware aggiunge l'intera postazione di registrazione: teleoperazione con guanti e tracker, con cinematica inversa dell'intero braccio ed evitamento delle collisioni, streaming di telecamere e tatto, registrazione sincronizzata degli episodi, il client della policy lato robot e file STEP del supporto da polso che unisce ogni mano al braccio.
Nell'articolo T-Rex è confrontato con sei metodi su 12 compiti reali, tra cui girare la pagina di un libro, spostare un uovo, stendere il dentifricio, aprire un lucchetto, sfilare una carta e avvitare una lampadina, con 16 prove per compito. Raggiunge in media il 65% di successo, contro il 35% di EgoScale, il riferimento più forte, e il 17% di π0.5; aggiungere semplicemente il tatto a π0.5 lo ha fatto scendere al 6%. Senza tatto, lo stesso T-Rex scende dal 65% al 42% nell'ablazione degli autori su sei dei compiti. Sono risultati degli autori stessi, sul loro robot; l'annuncio di Panasonic conferma che l'articolo viene presentato a CoRL 2026.
Perché è importante
La maggior parte delle policy VLA aperte, compreso π0.5 di openpi, agisce solo in base a telecamere e posizioni dei giunti, quindi non sente una carta che scivola o un uovo che sta per rompersi. T-Rex porta il tatto in un VLA come anello chiuso e fornisce tutto ciò che serve a un laboratorio per provarlo: pesi che partono dall'addestramento intermedio tattile, il codice di post-addestramento, un ampio dataset tattile pubblico e lo stesso stack di teleoperazione con cui è stato registrato. La sua lezione principale vale oltre questo robot: nell'articolo, aggiungere semplicemente ingressi tattili a un VLA preaddestrato lo ha peggiorato, mentre trattare il tatto come un esperto veloce separato sopra un pianificatore lento lo ha migliorato in modo netto. Il dataset è anche una risorsa a sé per la ricerca sull'apprendimento per imitazione, accanto al molto più piccolo Robotic Origami Challenge dello stesso produttore di mani e alla raccolta con guanti come l'OSMO Tactile Glove. Il punto debole è l'hardware: i pesi e il codice pubblicati presuppongono un Vega-1 con due mani Sharpa Wave e i loro sensori sui polpastrelli, quindi la maggior parte dei laboratori può usare i dati e il metodo ma non eseguire i checkpoint così come sono.
Il problema che risolve
Le policy Vision-Language-Action pianificano da immagini di telecamera a pochi hertz, troppo lentamente e in modo troppo grossolano per gestire le forze che decidono se una pagina si gira, se un uovo resta intero o se una carta si sfila. T-Rex aggiunge un esperto tattile veloce che corregge il movimento pianificato in base a forza e deformazione ai polpastrelli all'interno di ogni tratto d'azione, e fornisce il dataset tattile aperto e la ricetta di addestramento necessari per imparare questo comportamento.
Punti chiave
- VLA tattile aperto per due mani robotiche, basato su Qwen3-VL-2B con esperti latente, d'azione e tattile
- Un esperto d'azione lento pianifica a circa 5 Hz e un esperto tattile veloce rifinisce ogni tratto a circa 20 Hz
- Un VQ-VAE temporale trasforma la storia di forza e coppia ai polpastrelli in un token per dito
- Addestrato su video egocentrici di persone, un dataset tattile robotico di 100 ore e circa 100 dimostrazioni per compito
- Checkpoint di preaddestramento e di addestramento intermedio, codice di post-addestramento e 50 ore di dati tattili in formato LeRobot sono pubblici con licenza MIT
- In media il 65% di successo su 12 compiti ricchi di contatti contro il 35% del riferimento più forte, nei test degli autori
A chi si rivolge
- Ricercatori di apprendimento robotico che aggiungono il tatto alle policy VLA
- Laboratori con mani robotiche e sensori tattili sui polpastrelli, soprattutto chi usa Sharpa Wave
- Team che costruiscono dataset di teleoperazione tattile o a due mani
- Ricercatori che studiano il controllo a più frequenze e le rappresentazioni tattili
Limiti
- I checkpoint e il client di inferenza sono pensati per una sola piattaforma, un Dexmate Vega-1 con due mani Sharpa Wave e i loro sensori sui polpastrelli; altri robot richiedono nuovi dati e post-addestramento
- Solo circa 50 delle 100 ore del dataset sono pubbliche, e i corpus di preaddestramento e di addestramento intermedio non sono rilasciati, quindi l'addestramento completo non è riproducibile
- Il dataset pubblico occupa circa 1,4 TB e gli script di addestramento presuppongono nodi da 8 GPU; l'articolo indica 24 GPU NVIDIA H100 per i suoi addestramenti
- Tutti i risultati sono degli autori stessi, sul loro robot, con circa 100 dimostrazioni per compito e ancora nessuna replica esterna
- Lo stack hardware include dexcontrol di Dexmate con licenza AGPL-3.0 e richiede gli SDK Sharpa Wave e Sharpa Manus, che non fanno parte del repository e hanno condizioni proprie di Sharpa
- Il server dei tracker Vive gira solo su Windows, e la postazione di registrazione completa usa quattro macchine