T-Rex
Política reactiva al tacto para dos manos diestras, con pesos abiertos y datos táctiles
Licencia
- code: MIT
- released checkpoints and the T-Rex Dataset: MIT
- base model Qwen3-VL-2B-Instruct: Apache 2.0
- vendored Dexmate and Sharpa robot descriptions: Apache 2.0
Código: MIT, Copyright 2026 The Regents of the University of California, según LICENSE. Checkpoints publicados y conjunto de datos T-Rex: MIT, según sus fichas de Hugging Face. Modelo base Qwen3-VL-2B-Instruct: Apache-2.0. Excepciones en el repositorio: las descripciones de robot incluidas de Dexmate y Sharpa son Apache-2.0, y dexcontrol de Dexmate en el sistema de hardware es AGPL-3.0. No incluidos: los SDK Sharpa Wave y Sharpa Manus que necesita el sistema de hardware, con condiciones propias de Sharpa. Revisado el 2026-11-08 con LICENSE, los README de terceros y las fichas de Hugging Face.
Resumen
T-Rex es una política de visión, lenguaje y acción para manipulación diestra con dos manos que reacciona al tacto de las yemas mientras se mueve. La firma un equipo de UC Berkeley, NVIDIA, Stanford, Panasonic, la Universidad Sapienza de Roma e ItalAI. Un experto de acción lento planifica un tramo de movimiento a partir de imágenes de cámara y una instrucción en lenguaje a unos 5 Hz, y un pequeño experto táctil afina ese tramo a unos 20 Hz con las fuerzas y deformaciones medidas en diez yemas, sin volver a ejecutar el modelo de visión. El modelo se basa en Qwen3-VL-2B y se entrena en tres etapas: vídeo egocéntrico de personas, un conjunto de datos táctil de robot de 100 horas y unas 100 demostraciones por tarea. La publicación incluye los checkpoints de preentrenamiento y de entrenamiento intermedio, el código de post-entrenamiento e inferencia, una parte pública de 50 horas del conjunto de datos en formato LeRobot y el sistema de teleoperación con el que se grabó en un Dexmate Vega-1 con dos manos Sharpa Wave. El artículo se presenta en CoRL 2026.
T-Rex es una política visión-lenguaje-acción (VLA) para manipulación diestra que usa el tacto como señal de retroalimentación rápida y no como una entrada estática más. Su red troncal es una mezcla de transformadores (Mixture-of-Transformers) construida sobre el modelo de visión y lenguaje Qwen3-VL-2B, con tres expertos transformador que comparten la atención: un experto latente que predice rasgos visuales futuros, un experto de acción que elimina el ruido de un tramo de acción de 16 pasos con flow matching a unos 5 Hz, y un experto táctil ligero que funciona a unos 20 Hz. Los dos flujos de acción van en cascada: el experto de acción se encarga de la primera parte de la eliminación de ruido y guarda en caché su contexto de visión y lenguaje, y el experto táctil termina el tramo desde esa caché con lecturas de tacto nuevas cuatro veces por tramo, de modo que la política puede responder a un deslizamiento o a una presión excesiva sin volver a ejecutar el modelo de visión. El tacto procede de sensores táctiles en las yemas, en dos formas: un VQ-VAE temporal convierte una ventana corta de la fuerza y el par de 6 ejes de cada yema en un token discreto por dedo, y una red aparte lee el mapa de deformación de cada yema.
El entrenamiento tiene tres etapas. Siguiendo a EgoScale, los expertos latente y de acción se preentrenan con 22.889 horas de vídeo egocéntrico de personas; después se hace un entrenamiento intermedio con el conjunto de datos T-Rex de 100 horas, en el que el experto táctil se entrena desde cero; por último, la política se ajusta con unas 100 demostraciones por tarea. El conjunto de datos se grabó por teleoperación en un Vega-1 de Dexmate con dos manos Wave de Sharpa de 22 DoF, cada una con cinco sensores en las yemas, usando guantes de Manus y rastreadores VIVE. Combina 22 primitivas motoras, como limpiar, pelar, insertar y girar, con más de 200 objetos domésticos. Unas 50 horas, 5.464 episodios, son públicas en Hugging Face en formato LeRobot v3.0, con vídeo de cabeza y muñeca, estados y objetivos articulares, imágenes táctiles en bruto y de deformación, y fuerzas y momentos de las yemas. Una guía rápida descarga episodios sueltos y los reproduce en 3D, y un visor en el navegador muestra muestras de los datos.
El repositorio contiene el código de post-entrenamiento e inferencia; el código de preentrenamiento y de entrenamiento intermedio está en su rama full-pipeline. El checkpoint de entrenamiento intermedio publicado es el punto de partida para ajustar el modelo a una tarea nueva, y también hay un checkpoint de preentrenamiento. La inferencia funciona como un servidor en una máquina con GPU al que el robot pide una pasada completa al inicio de cada tramo y actualizaciones solo táctiles entre medias. El sistema de hardware añade toda la instalación de grabación: teleoperación con guantes y rastreadores, con cinemática inversa de todo el brazo y evitación de colisiones, transmisión de cámaras y tacto, grabación sincronizada de episodios, el cliente de la política en el robot y archivos STEP del soporte de muñeca que une cada mano al brazo.
En el artículo se compara T-Rex con seis métodos en 12 tareas reales, entre ellas pasar la página de un libro, trasladar un huevo, aplicar pasta de dientes, abrir un candado, sacar una tarjeta y enroscar una bombilla, con 16 intentos por tarea. Logra de media un 65% de éxito, frente al 35% de EgoScale, la referencia más fuerte, y el 17% de π0.5; añadir tacto a π0.5 sin más lo bajó al 6%. Sin tacto, el propio T-Rex cae del 65% al 42% en la ablación de los autores sobre seis de las tareas. Son resultados de los propios autores en su propio robot; el anuncio de Panasonic confirma que el artículo se presenta en CoRL 2026.
Por qué importa
La mayoría de las políticas VLA abiertas, incluida π0.5 de openpi, actúan solo con cámaras y posiciones articulares, así que no notan que una tarjeta se resbala o que un huevo está a punto de romperse. T-Rex incorpora el tacto a un VLA como lazo cerrado y trae todo lo que un laboratorio necesita para probarlo: pesos que parten del entrenamiento intermedio táctil, el código de post-entrenamiento, un gran conjunto de datos táctil público y el mismo sistema de teleoperación con que se grabó. Su lección principal sirve más allá de este robot: en el artículo, añadir sin más entradas táctiles a un VLA preentrenado lo empeoró, mientras que tratar el tacto como un experto rápido aparte sobre un planificador lento lo mejoró con claridad. El conjunto de datos es además un recurso por sí mismo para investigar el aprendizaje por imitación, junto al mucho más pequeño Robotic Origami Challenge del mismo fabricante de manos y a la captura con guantes como el guante táctil OSMO. La pega es el hardware: los pesos y el código publicados suponen un Vega-1 con dos manos Sharpa Wave y sus sensores en las yemas, así que la mayoría de los laboratorios puede usar los datos y el método, pero no ejecutar los checkpoints tal cual.
Qué problema resuelve
Las políticas de visión, lenguaje y acción planifican a partir de imágenes de cámara a pocos hercios, demasiado lento y demasiado grueso para dominar las fuerzas que deciden si una página pasa, un huevo sigue entero o una tarjeta sale. T-Rex añade un experto táctil rápido que corrige el movimiento planificado con la fuerza y la deformación de las yemas dentro de cada tramo de acción, y aporta el conjunto de datos táctil abierto y la receta de entrenamiento necesarios para aprender ese comportamiento.
Puntos clave
- VLA táctil abierto para dos manos diestras, basado en Qwen3-VL-2B con expertos latente, de acción y táctil
- Un experto de acción lento planifica a unos 5 Hz y un experto táctil rápido afina cada tramo a unos 20 Hz
- Un VQ-VAE temporal convierte el historial de fuerza y par de las yemas en un token por dedo
- Entrenado con vídeo egocéntrico de personas, un conjunto de datos táctil de robot de 100 horas y unas 100 demostraciones por tarea
- Los checkpoints de preentrenamiento y entrenamiento intermedio, el código de post-entrenamiento y 50 horas de datos táctiles en formato LeRobot son públicos bajo MIT
- De media un 65% de éxito en 12 tareas con mucho contacto frente al 35% de la referencia más fuerte, en las pruebas de los autores
Para quién es
- Investigadores en aprendizaje robótico que añaden tacto a políticas VLA
- Laboratorios con manos diestras y sensores táctiles en las yemas, sobre todo usuarios de Sharpa Wave
- Equipos que crean conjuntos de datos de teleoperación táctil o con dos manos
- Investigadores de control a varias frecuencias y de representaciones táctiles
Limitaciones
- Los checkpoints y el cliente de inferencia están hechos para una sola plataforma, un Dexmate Vega-1 con dos manos Sharpa Wave y sus sensores en las yemas; otros robots necesitan datos nuevos y post-entrenamiento
- Solo unas 50 de las 100 horas del conjunto de datos son públicas, y los corpus de preentrenamiento y de entrenamiento intermedio no se publican, así que el entrenamiento completo no se puede reproducir
- El conjunto de datos público ocupa unos 1,4 TB y los scripts de entrenamiento suponen nodos de 8 GPU; el artículo indica 24 GPU NVIDIA H100 para sus entrenamientos
- Todos los resultados son de los propios autores, en su robot, con unas 100 demostraciones por tarea y aún sin réplica externa
- El sistema de hardware incluye dexcontrol de Dexmate bajo AGPL-3.0 y necesita los SDK Sharpa Wave y Sharpa Manus, que no forman parte del repositorio y tienen condiciones propias de Sharpa
- El servidor de los rastreadores Vive solo funciona en Windows, y la instalación de grabación completa usa cuatro máquinas