Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

T-Rex

Berührungsreaktive Policy für zwei geschickte Hände, mit offenen Gewichten und Taktildaten

Lizenz

  • code: MIT
  • released checkpoints and the T-Rex Dataset: MIT
  • base model Qwen3-VL-2B-Instruct: Apache 2.0
  • vendored Dexmate and Sharpa robot descriptions: Apache 2.0

Code: MIT, Copyright 2026 The Regents of the University of California, laut LICENSE. Veröffentlichte Checkpoints und der T-Rex-Datensatz: MIT, laut ihren Hugging-Face-Karten. Basismodell Qwen3-VL-2B-Instruct: Apache-2.0. Ausnahmen im Repository: Die gebündelten Roboterbeschreibungen von Dexmate und Sharpa stehen unter Apache-2.0, und Dexmates dexcontrol im Hardware-Stack steht unter AGPL-3.0. Nicht enthalten: die Sharpa Wave SDK und die Sharpa Manus SDK, die der Hardware-Stack braucht und die unter Sharpas eigenen Bedingungen stehen. Geprüft am 2026-11-08 anhand von LICENSE, den READMEs der Drittkomponenten und den Hugging-Face-Karten.

Überblick

T-Rex ist eine Vision-Language-Action-Policy für beidhändige geschickte Manipulation, die während der Bewegung auf Berührungen an den Fingerkuppen reagiert. Sie stammt von einem Team aus UC Berkeley, NVIDIA, Stanford, Panasonic, der Universität La Sapienza in Rom und ItalAI. Ein langsamer Aktionsexperte plant mit etwa 5 Hz einen Bewegungsabschnitt aus Kamerabildern und einer Sprachanweisung, und ein kleiner taktiler Experte verfeinert diesen Abschnitt mit etwa 20 Hz anhand der Kräfte und Verformungen, die an zehn Fingerkuppen gemessen werden, ohne das Vision-Modell erneut auszuführen. Das Modell baut auf Qwen3-VL-2B auf und wird in drei Stufen trainiert: egozentrische Videos von Menschen, ein taktiler Roboterdatensatz von 100 Stunden und etwa 100 Demonstrationen pro Aufgabe. Veröffentlicht sind die vortrainierten und zwischentrainierten Checkpoints, der Code für Nachtraining und Inferenz, ein öffentlicher Teil des Datensatzes von 50 Stunden im LeRobot-Format und der Teleoperations-Stack, mit dem er auf einem Dexmate Vega-1 mit zwei Sharpa-Wave-Händen aufgezeichnet wurde. Das Paper wird auf der CoRL 2026 vorgestellt.

T-Rex ist eine Vision-Language-Action-Policy (VLA) für geschickte Manipulation, die Berührung als schnelles Rückkopplungssignal nutzt und nicht als weitere statische Eingabe. Ihr Backbone ist ein Mixture-of-Transformers auf Basis des Vision-Sprachmodells Qwen3-VL-2B, mit drei Transformer-Experten, die sich die Attention teilen: ein latenter Experte, der künftige visuelle Merkmale vorhersagt, ein Aktionsexperte, der mit Flow Matching bei etwa 5 Hz einen Aktionsabschnitt von 16 Schritten entrauscht, und ein schlanker taktiler Experte, der mit etwa 20 Hz läuft. Die beiden Aktionsströme sind kaskadiert: Der Aktionsexperte übernimmt den ersten Teil des Entrauschens und speichert seinen Bild- und Sprachkontext zwischen, und der taktile Experte vollendet den Abschnitt aus diesem Zwischenspeicher viermal pro Abschnitt mit frischen Tastwerten. So kann die Policy auf Rutschen oder zu starken Druck reagieren, ohne das Vision-Modell erneut auszuführen. Die Berührung kommt von taktilen Sensoren an den Fingerkuppen, in zwei Formen: Ein zeitliches VQ-VAE macht aus einem kurzen Fenster der 6-achsigen Kraft- und Drehmomentwerte jeder Fingerkuppe ein diskretes Token pro Finger, und ein separates Netz liest die Verformungskarte jeder Fingerkuppe.

Das Training läuft in drei Stufen. Nach dem Vorbild von EgoScale werden der latente und der Aktionsexperte auf 22.889 Stunden egozentrischer Videos von Menschen vortrainiert; danach folgt ein Zwischentraining auf dem T-Rex-Datensatz von 100 Stunden, in dem der taktile Experte von Grund auf trainiert wird; zuletzt wird die Policy mit etwa 100 Demonstrationen pro Aufgabe feinabgestimmt. Der Datensatz wurde per Teleoperation auf einem Dexmate Vega-1 mit zwei Wave-Händen von Sharpa mit je 22 DoF und fünf Fingerkuppensensoren aufgezeichnet, gesteuert mit Handschuhen von Manus und VIVE-Trackern. Er kombiniert 22 motorische Grundbewegungen wie Wischen, Schälen, Einstecken und Drehen mit mehr als 200 Haushaltsgegenständen. Etwa 50 Stunden davon, 5.464 Episoden, sind auf Hugging Face im Format LeRobot v3.0 öffentlich, mit Kopf- und Handgelenkvideo, Gelenkzuständen und -zielen, rohen und Verformungs-Taktilbildern sowie Kraft- und Momentwerten der Fingerkuppen. Ein Quickstart streamt einzelne Episoden und spielt sie in 3D ab, und ein Browser-Visualizer zeigt Stichproben der Daten.

Das Repository enthält den Code für Nachtraining und Inferenz; der Code für Vor- und Zwischentraining liegt im Branch full-pipeline. Der veröffentlichte Zwischentrainings-Checkpoint ist der Ausgangspunkt für das Feinabstimmen auf eine neue Aufgabe, und ein Vortrainings-Checkpoint ist ebenfalls veröffentlicht. Die Inferenz läuft als Server auf einem GPU-Rechner, den der Roboter zu Beginn jedes Abschnitts für einen vollständigen Durchlauf und dazwischen für rein taktile Aktualisierungen abfragt. Der Hardware-Stack ergänzt die komplette Aufnahmeumgebung: Teleoperation mit Handschuhen und Trackern samt inverser Kinematik für den ganzen Arm und Kollisionsvermeidung, Kamera- und Taktil-Streaming, synchronisierte Episodenaufzeichnung, den Policy-Client auf Roboterseite und STEP-Dateien für die Handgelenkhalterung, die jede Hand mit dem Arm verbindet.

Im Paper wird T-Rex mit sechs Methoden auf 12 realen Aufgaben verglichen, darunter eine Buchseite umblättern, ein Ei umsetzen, Zahnpasta auftragen, ein Schloss öffnen, eine Karte herausziehen und eine Glühbirne eindrehen, mit 16 Versuchen pro Aufgabe. Im Mittel erreicht es 65% Erfolg, gegenüber 35% für EgoScale, die stärkste Vergleichsmethode, und 17% für π0.5; π0.5 einfach um Berührung zu ergänzen senkte den Wert auf 6%. Ohne Berührung fällt T-Rex selbst in der Ablation der Autoren über sechs der Aufgaben von 65% auf 42%. Das sind die eigenen Ergebnisse der Autoren auf ihrem eigenen Roboter; die Mitteilung von Panasonic bestätigt, dass das Paper auf der CoRL 2026 vorgestellt wird.

Warum es wichtig ist

Die meisten offenen VLA-Policies, darunter π0.5 aus openpi, handeln allein nach Kamerabildern und Gelenkpositionen und spüren daher nicht, wenn eine Karte rutscht oder ein Ei gleich bricht. T-Rex bringt Berührung als geschlossenen Regelkreis in ein VLA und liefert alles mit, was ein Labor zum Ausprobieren braucht: Gewichte, die vom taktilen Zwischentraining ausgehen, den Code für das Nachtraining, einen großen öffentlichen Taktildatensatz und genau den Teleoperations-Stack, mit dem er aufgezeichnet wurde. Die wichtigste Erkenntnis gilt über diesen Roboter hinaus: Im Paper machte es ein vortrainiertes VLA schlechter, ihm einfach taktile Eingaben hinzuzufügen, während es deutlich besser wurde, als die Berührung als eigener schneller Experte über einem langsamen Planer lief. Der Datensatz ist auch für sich genommen eine Ressource für die Forschung zum Imitationslernen, neben dem viel kleineren Datensatz Robotic Origami Challenge desselben Handherstellers und handschuhbasierter Erfassung wie dem OSMO Tactile Glove. Der Haken ist die Hardware: Die veröffentlichten Gewichte und der Code setzen einen Vega-1 mit zwei Sharpa-Wave-Händen und deren Fingerkuppensensoren voraus. Die meisten Labore können daher die Daten und die Methode nutzen, die Checkpoints aber nicht unverändert ausführen.

Welches Problem es löst

Vision-Language-Action-Policies planen mit wenigen Hertz aus Kamerabildern, zu langsam und zu grob, um die Kräfte zu steuern, von denen abhängt, ob eine Seite umblättert, ein Ei heil bleibt oder eine Karte herausgleitet. T-Rex ergänzt einen schnellen taktilen Experten, der die geplante Bewegung innerhalb jedes Aktionsabschnitts anhand von Kraft und Verformung an den Fingerkuppen korrigiert, und stellt den offenen Taktildatensatz und das Trainingsrezept bereit, mit denen sich dieses Verhalten lernen lässt.

Wichtigste Punkte

  • Offenes taktiles VLA für zwei geschickte Hände, auf Basis von Qwen3-VL-2B mit latentem, Aktions- und taktilem Experten
  • Ein langsamer Aktionsexperte plant mit etwa 5 Hz, ein schneller taktiler Experte verfeinert jeden Abschnitt mit etwa 20 Hz
  • Ein zeitliches VQ-VAE macht aus dem Verlauf von Kraft und Drehmoment an den Fingerkuppen ein Token pro Finger
  • Trainiert auf egozentrischen Videos von Menschen, einem taktilen Roboterdatensatz von 100 Stunden und etwa 100 Demonstrationen pro Aufgabe
  • Vortrainierte und zwischentrainierte Checkpoints, Code für das Nachtraining und 50 Stunden Taktildaten im LeRobot-Format sind unter MIT öffentlich
  • Im Mittel 65% Erfolg auf 12 kontaktreichen Aufgaben gegenüber 35% für die stärkste Vergleichsmethode, in den Tests der Autoren

Für wen

  • Forschende im Roboterlernen, die VLA-Policies um Berührung erweitern
  • Labore mit geschickten Händen und taktilen Fingerkuppensensoren, besonders Nutzer der Sharpa Wave
  • Teams, die taktile oder beidhändige Teleoperations-Datensätze aufbauen
  • Forschende zu Regelung mit mehreren Raten und zu taktilen Repräsentationen

Einschränkungen

  • Die Checkpoints und der Inferenz-Client sind für eine Plattform gebaut, einen Dexmate Vega-1 mit zwei Sharpa-Wave-Händen und deren Fingerkuppensensoren; andere Roboter brauchen neue Daten und Nachtraining
  • Nur etwa 50 der 100 Datensatzstunden sind öffentlich, und die Korpora für Vor- und Zwischentraining sind nicht veröffentlicht, sodass sich der vollständige Trainingslauf nicht reproduzieren lässt
  • Der öffentliche Datensatz umfasst etwa 1,4 TB, und die Trainingsskripte gehen von Knoten mit 8 GPUs aus; das Paper nennt 24 NVIDIA H100 GPUs für seine Trainingsläufe
  • Alle Ergebnisse stammen von den Autoren selbst, auf ihrem Roboter, mit etwa 100 Demonstrationen pro Aufgabe und bisher ohne unabhängige Reproduktion
  • Der Hardware-Stack bündelt Dexmates dexcontrol unter AGPL-3.0 und braucht die Sharpa Wave SDK und die Sharpa Manus SDK, die nicht Teil des Repositorys sind und unter Sharpas eigenen Bedingungen stehen
  • Der Vive-Tracker-Server läuft nur unter Windows, und die vollständige Aufnahmeumgebung nutzt vier Rechner

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.