Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

T-Rex

面向双灵巧手的触觉响应策略,开放权重与触觉数据集

许可证

  • code: MIT
  • released checkpoints and the T-Rex Dataset: MIT
  • base model Qwen3-VL-2B-Instruct: Apache 2.0
  • vendored Dexmate and Sharpa robot descriptions: Apache 2.0

代码:MIT,Copyright 2026 The Regents of the University of California,见 LICENSE。已发布的检查点和 T-Rex 数据集:MIT,见其 Hugging Face 卡片。基础模型 Qwen3-VL-2B-Instruct:Apache-2.0。仓库中的例外:随附的 Dexmate 和 Sharpa 机器人描述文件为 Apache-2.0,硬件系统中的 Dexmate dexcontrol 为 AGPL-3.0。未包含:硬件系统所需的 Sharpa Wave SDK 和 Sharpa Manus SDK,适用 Sharpa 自己的条款。于 2026-11-08 对照 LICENSE、第三方 README 和 Hugging Face 卡片核对。

概述

T-Rex 是一个用于双手灵巧操作的视觉-语言-动作策略,能在运动过程中对指尖触觉作出反应,由 UC Berkeley、NVIDIA、斯坦福大学、松下、罗马大学 La Sapienza 和 ItalAI 的团队开发。一个慢速的动作专家以约 5 Hz 根据相机图像和语言指令规划一段动作,一个小型触觉专家再以约 20 Hz 根据十个指尖测得的力和形变细化这段动作,无需重新运行视觉模型。模型基于 Qwen3-VL-2B,分三个阶段训练:人类第一视角视频、100 小时的机器人触觉数据集,以及每个任务约 100 条示范。发布内容包括预训练和中间训练的检查点、后训练与推理代码、数据集中公开的 50 小时 LeRobot 格式部分,以及在配备两只 Sharpa Wave 手的 Dexmate Vega-1 上采集这些数据所用的遥操作系统。论文在 CoRL 2026 上发表。

T-Rex 是一个用于灵巧操作的视觉-语言-动作(VLA)策略,它把触觉当作快速反馈信号,而不是又一个静态输入。其主干是基于 Qwen3-VL-2B 视觉语言模型构建的 Mixture-of-Transformers,包含三个共享注意力的 Transformer 专家:预测未来视觉特征的潜在专家;以约 5 Hz 用流匹配对 16 步动作片段去噪的动作专家;以及以约 20 Hz 运行的轻量触觉专家。两条动作流是级联的:动作专家完成去噪的前一部分并缓存其视觉和语言上下文,触觉专家再从该缓存出发,每个片段四次用最新的触觉读数完成该片段,因此策略能对打滑或用力过大作出反应,而无需重新运行视觉模型。触觉来自指尖触觉传感器,分两种形式:时序 VQ-VAE 把每个指尖 6 轴力/力矩的一小段时间窗口变成每根手指一个离散 token,另一个独立网络读取每个指尖的形变图。

训练分为三个阶段。沿用 EgoScale 的做法,潜在专家和动作专家先在 22,889 小时的人类第一视角视频上预训练;随后在 100 小时的 T-Rex 数据集上进行中间训练,触觉专家在这一阶段从零开始训练;最后用每个任务约 100 条示范对策略做微调。数据集通过遥操作在 Dexmate Vega-1 上采集,机器人配备两只 22 自由度的 Sharpa Wave 手,每只手有五个指尖传感器,操作者使用 Manus 手套和 VIVE 追踪器。它把擦拭、剥皮、插入、拧转等 22 种运动基元与 200 多种日常物品组合。其中约 50 小时、5,464 个 episode 以 LeRobot v3.0 格式公开在 Hugging Face 上,包含头部和腕部视频、关节状态与目标、原始与形变触觉图像,以及指尖力与力矩。快速入门可单独下载 episode 并做 3D 回放,浏览器可视化工具可抽样查看数据。

代码仓库包含后训练与推理代码;预训练和中间训练代码在 full-pipeline 分支上。已发布的中间训练检查点是针对新任务微调的起点,另外也发布了预训练检查点。推理以服务器形式运行在一台 GPU 机器上,机器人在每个片段开始时请求一次完整推理,其间只请求触觉更新。硬件系统提供了完整的采集环境:手套和追踪器遥操作、带碰撞规避的全臂逆运动学、相机与触觉数据流、同步的 episode 录制、机器人端的策略客户端,以及把每只手连接到手臂上的腕部支架 STEP 文件。

在论文中,T-Rex 在 12 个真实任务上与六种方法比较,包括翻书页、转移鸡蛋、挤牙膏、开锁、抽出卡片和拧灯泡,每个任务测试 16 次。它的平均成功率为 65%,最强基线 EgoScale 为 35%,π0.5 为 17%;直接给 π0.5 加入触觉反而使其降到 6%。在作者针对其中六个任务的消融实验中,去掉触觉后 T-Rex 本身从 65% 降到 42%。这些都是作者在自己机器人上得到的结果;松下的公告确认论文在 CoRL 2026 上发表。

为何重要

大多数开放的 VLA 策略,包括 openpi 中的 π0.5,只依靠相机和关节位置行动,因此感觉不到卡片在打滑或鸡蛋快要破裂。T-Rex 以闭环方式把触觉引入 VLA,并提供了实验室试用所需的一切:从触觉中间训练出发的权重、后训练代码、一个大型公开触觉数据集,以及采集它所用的同一套遥操作系统。它最重要的结论不限于这台机器人:论文中,直接给预训练 VLA 加入触觉输入反而让它变差,而把触觉作为慢速规划器之上一个独立的快速专家来运行,则带来了明显提升。这个数据集本身也是模仿学习研究的一项资源,可与同一家灵巧手厂商规模小得多的 Robotic Origami Challenge 数据集,以及 OSMO 触觉手套这类基于手套的采集方式相互补充。问题在于硬件:已发布的权重和代码都以配备两只 Sharpa Wave 手及其指尖传感器的 Vega-1 为前提,因此大多数实验室可以使用数据和方法,却无法直接运行这些检查点。

解决的问题

视觉-语言-动作策略以每秒几次的频率根据相机图像进行规划,太慢也太粗,无法掌控那些决定书页能否翻过、鸡蛋是否完好、卡片能否抽出的力。T-Rex 增加了一个快速触觉专家,在每个动作片段内根据指尖的力和形变修正规划好的动作,并提供学习这种行为所需的开放触觉数据集和训练方法。

要点

  • 面向双灵巧手的开放触觉 VLA,基于 Qwen3-VL-2B,包含潜在、动作和触觉三个专家
  • 慢速动作专家以约 5 Hz 规划,快速触觉专家以约 20 Hz 细化每个片段
  • 时序 VQ-VAE 把指尖力与力矩的历史变成每根手指一个 token
  • 在人类第一视角视频、100 小时的机器人触觉数据集和每个任务约 100 条示范上训练
  • 预训练与中间训练检查点、后训练代码以及 50 小时 LeRobot 格式触觉数据均以 MIT 许可公开
  • 在作者的测试中,12 个接触密集任务的平均成功率为 65%,最强基线为 35%

适用人群

  • 为 VLA 策略加入触觉的机器人学习研究者
  • 拥有灵巧手和指尖触觉传感器的实验室,尤其是 Sharpa Wave 用户
  • 构建触觉或双手遥操作数据集的团队
  • 研究多速率控制和触觉表征的研究者

局限

  • 检查点和推理客户端只针对一个平台:配备两只 Sharpa Wave 手及其指尖传感器的 Dexmate Vega-1;其他机器人需要新数据和后训练
  • 数据集 100 小时中只公开了约 50 小时,预训练和中间训练语料也未发布,因此无法复现完整训练
  • 公开数据集约 1.4 TB,训练脚本默认每个节点 8 块 GPU;论文列出其训练使用了 24 块 NVIDIA H100 GPU
  • 所有结果都来自作者本人、在其机器人上、每个任务约 100 条示范,目前尚无外部复现
  • 硬件系统内置了 AGPL-3.0 许可的 Dexmate dexcontrol,并需要 Sharpa Wave SDK 和 Sharpa Manus SDK,这两者不在仓库中,适用 Sharpa 自己的条款
  • Vive 追踪器服务器只能在 Windows 上运行,完整的采集环境需要四台机器

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。