Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

T-Rex

Politique réactive au toucher pour deux mains dextres, poids ouverts et données tactiles

Licence

  • code: MIT
  • released checkpoints and the T-Rex Dataset: MIT
  • base model Qwen3-VL-2B-Instruct: Apache 2.0
  • vendored Dexmate and Sharpa robot descriptions: Apache 2.0

Code : MIT, Copyright 2026 The Regents of the University of California, selon LICENSE. Checkpoints publiés et jeu de données T-Rex : MIT, selon leurs fiches Hugging Face. Modèle de base Qwen3-VL-2B-Instruct : Apache-2.0. Exceptions dans le dépôt : les descriptions de robots Dexmate et Sharpa incluses sont sous Apache-2.0, et dexcontrol de Dexmate dans la chaîne matérielle est sous AGPL-3.0. Non inclus : les SDK Sharpa Wave et Sharpa Manus dont la chaîne matérielle a besoin, soumis aux conditions propres à Sharpa. Vérifié le 2026-11-08 d'après LICENSE, les README des composants tiers et les fiches Hugging Face.

Aperçu

T-Rex est une politique vision-langage-action pour la manipulation dextre à deux mains, qui réagit au toucher du bout des doigts pendant le mouvement. Elle vient d'une équipe de UC Berkeley, NVIDIA, Stanford, Panasonic, l'université La Sapienza de Rome et ItalAI. Un expert d'action lent planifie un segment de mouvement à partir d'images de caméra et d'une consigne en langage naturel à environ 5 Hz, et un petit expert tactile affine ce segment à environ 20 Hz à partir des forces et des déformations mesurées sur dix bouts de doigts, sans relancer le modèle de vision. Le modèle repose sur Qwen3-VL-2B et s'entraîne en trois étapes : vidéo égocentrique humaine, un jeu de données tactile robotique de 100 heures et environ 100 démonstrations par tâche. La publication comprend les checkpoints de pré-entraînement et d'entraînement intermédiaire, le code de post-entraînement et d'inférence, une partie publique de 50 heures du jeu de données au format LeRobot et la chaîne de téléopération qui a servi à l'enregistrer sur un Dexmate Vega-1 équipé de deux mains Sharpa Wave. L'article est présenté à CoRL 2026.

T-Rex est une politique vision-langage-action (VLA) pour la manipulation dextre qui utilise le toucher comme signal de rétroaction rapide plutôt que comme une entrée statique de plus. Son backbone est un Mixture-of-Transformers construit sur le modèle vision-langage Qwen3-VL-2B, avec trois experts Transformer qui partagent l'attention : un expert latent qui prédit les caractéristiques visuelles futures, un expert d'action qui débruite un segment d'action de 16 pas par flow matching à environ 5 Hz, et un expert tactile léger qui tourne à environ 20 Hz. Les deux flux d'action sont en cascade : l'expert d'action réalise la première partie du débruitage et met en cache son contexte visuel et linguistique, puis l'expert tactile termine le segment à partir de ce cache avec des mesures tactiles fraîches quatre fois par segment, ce qui permet à la politique de réagir à un glissement ou à une pression excessive sans relancer le modèle de vision. Le toucher vient de capteurs tactiles au bout des doigts, sous deux formes : un VQ-VAE temporel transforme une courte fenêtre de force et de couple sur 6 axes de chaque doigt en un jeton discret par doigt, et un réseau distinct lit la carte de déformation de chaque bout de doigt.

L'entraînement se fait en trois étapes. Dans la lignée d'EgoScale, les experts latent et d'action sont pré-entraînés sur 22 889 heures de vidéo égocentrique humaine ; ils passent ensuite par un entraînement intermédiaire sur le jeu de données T-Rex de 100 heures, où l'expert tactile est entraîné à partir de zéro ; enfin la politique est affinée sur environ 100 démonstrations par tâche. Le jeu de données a été enregistré par téléopération sur un Vega-1 de Dexmate équipé de deux mains Wave de Sharpa à 22 DoF, chacune avec cinq capteurs au bout des doigts, à l'aide de gants Manus et de trackers VIVE. Il associe 22 primitives motrices, comme essuyer, éplucher, insérer et tourner, à plus de 200 objets du quotidien. Environ 50 heures, soit 5 464 épisodes, sont publiques sur Hugging Face au format LeRobot v3.0, avec vidéo de la tête et des poignets, états et consignes articulaires, images tactiles brutes et de déformation, et efforts mesurés au bout des doigts. Un guide de démarrage télécharge des épisodes isolés et les rejoue en 3D, et un visualiseur dans le navigateur en présente des échantillons.

Le dépôt contient le code de post-entraînement et d'inférence ; le code de pré-entraînement et d'entraînement intermédiaire se trouve sur sa branche full-pipeline. Le checkpoint d'entraînement intermédiaire publié sert de point de départ pour affiner le modèle sur une nouvelle tâche, et un checkpoint de pré-entraînement est aussi disponible. L'inférence tourne comme un serveur sur une machine à GPU, que le robot interroge pour une passe complète au début de chaque segment et pour des mises à jour uniquement tactiles entre les deux. La chaîne matérielle ajoute toute l'installation d'enregistrement : téléopération par gants et trackers avec cinématique inverse du bras entier et évitement des collisions, diffusion des caméras et du toucher, enregistrement synchronisé des épisodes, le client de la politique côté robot et des fichiers STEP pour le support de poignet qui relie chaque main au bras.

Dans l'article, T-Rex est comparé à six méthodes sur 12 tâches réelles, dont tourner la page d'un livre, déplacer un œuf, appliquer du dentifrice, ouvrir un cadenas, retirer une carte et visser une ampoule, avec 16 essais par tâche. Il atteint en moyenne 65% de réussite, contre 35% pour EgoScale, la meilleure référence, et 17% pour π0.5 ; ajouter simplement le toucher à π0.5 l'a fait tomber à 6%. Sans toucher, T-Rex lui-même passe de 65% à 42% dans l'ablation des auteurs sur six des tâches. Ce sont les résultats des auteurs eux-mêmes, sur leur propre robot ; l'annonce de Panasonic confirme que l'article est présenté à CoRL 2026.

Pourquoi c'est important

La plupart des politiques VLA ouvertes, y compris π0.5 d'openpi, agissent uniquement à partir des caméras et des positions articulaires : elles ne sentent pas qu'une carte glisse ou qu'un œuf va se briser. T-Rex intègre le toucher à un VLA en boucle fermée et fournit tout ce dont un laboratoire a besoin pour l'essayer : des poids issus de l'entraînement intermédiaire tactile, le code de post-entraînement, un grand jeu de données tactile public et la chaîne de téléopération exacte qui l'a enregistré. Sa principale leçon dépasse ce robot : dans l'article, ajouter simplement des entrées tactiles à un VLA pré-entraîné l'a rendu moins bon, alors que traiter le toucher comme un expert rapide distinct au-dessus d'un planificateur lent l'a nettement amélioré. Le jeu de données est aussi une ressource en soi pour la recherche en apprentissage par imitation, à côté du jeu bien plus petit Robotic Origami Challenge du même fabricant de mains et de la capture par gant comme le gant tactile OSMO. Le revers, c'est le matériel : les poids et le code publiés supposent un Vega-1 avec deux mains Sharpa Wave et leurs capteurs au bout des doigts, si bien que la plupart des laboratoires peuvent exploiter les données et la méthode, mais pas faire tourner les checkpoints tels quels.

Le problème résolu

Les politiques vision-langage-action planifient à partir d'images de caméra à quelques hertz, trop lentement et trop grossièrement pour maîtriser les forces qui décident si une page se tourne, si un œuf reste entier ou si une carte se dégage. T-Rex ajoute un expert tactile rapide qui corrige le mouvement planifié à partir de la force et de la déformation mesurées au bout des doigts, à l'intérieur de chaque segment d'action, et fournit le jeu de données tactile ouvert et la recette d'entraînement nécessaires pour apprendre ce comportement.

Points clés

  • VLA tactile ouvert pour deux mains dextres, basé sur Qwen3-VL-2B avec des experts latent, d'action et tactile
  • Un expert d'action lent planifie à environ 5 Hz et un expert tactile rapide affine chaque segment à environ 20 Hz
  • Un VQ-VAE temporel transforme l'historique de force et de couple au bout des doigts en un jeton par doigt
  • Entraîné sur de la vidéo égocentrique humaine, un jeu de données tactile robotique de 100 heures et environ 100 démonstrations par tâche
  • Checkpoints de pré-entraînement et d'entraînement intermédiaire, code de post-entraînement et 50 heures de données tactiles au format LeRobot publics sous MIT
  • En moyenne 65% de réussite sur 12 tâches riches en contacts contre 35% pour la meilleure référence, selon les tests des auteurs

Pour qui

  • Chercheurs en apprentissage robotique qui ajoutent le toucher aux politiques VLA
  • Laboratoires équipés de mains dextres et de capteurs tactiles au bout des doigts, en particulier les utilisateurs de Sharpa Wave
  • Équipes qui constituent des jeux de données de téléopération tactile ou à deux mains
  • Chercheurs qui étudient la commande à plusieurs fréquences et les représentations tactiles

Limites

  • Les checkpoints et le client d'inférence sont conçus pour une seule plateforme, un Dexmate Vega-1 avec deux mains Sharpa Wave et leurs capteurs au bout des doigts ; d'autres robots demandent de nouvelles données et un post-entraînement
  • Seules environ 50 des 100 heures du jeu de données sont publiques, et les corpus de pré-entraînement et d'entraînement intermédiaire ne sont pas publiés, si bien que l'entraînement complet n'est pas reproductible
  • Le jeu de données public pèse environ 1,4 TB et les scripts d'entraînement supposent des nœuds de 8 GPU ; l'article indique 24 GPU NVIDIA H100 pour ses entraînements
  • Tous les résultats viennent des auteurs eux-mêmes, sur leur robot, avec environ 100 démonstrations par tâche et sans réplication externe à ce jour
  • La chaîne matérielle embarque dexcontrol de Dexmate sous AGPL-3.0 et nécessite les SDK Sharpa Wave et Sharpa Manus, qui ne font pas partie du dépôt et relèvent des conditions propres à Sharpa
  • Le serveur des trackers Vive ne fonctionne que sous Windows, et l'installation d'enregistrement complète utilise quatre machines

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.