Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

T-Rex

두 개의 정교한 손을 위한 촉각 반응 정책, 공개 가중치와 촉각 데이터셋 포함

라이선스

  • code: MIT
  • released checkpoints and the T-Rex Dataset: MIT
  • base model Qwen3-VL-2B-Instruct: Apache 2.0
  • vendored Dexmate and Sharpa robot descriptions: Apache 2.0

코드: MIT, Copyright 2026 The Regents of the University of California, LICENSE 기준. 공개 체크포인트와 T-Rex 데이터셋: MIT, 각 Hugging Face 카드 기준. 기반 모델 Qwen3-VL-2B-Instruct: Apache-2.0. 저장소 안의 예외: 포함된 Dexmate와 Sharpa 로봇 기술 파일은 Apache-2.0이고, 하드웨어 스택의 Dexmate dexcontrol은 AGPL-3.0입니다. 포함되지 않음: 하드웨어 스택에 필요한 Sharpa Wave SDK와 Sharpa Manus SDK로, Sharpa 자체 조건을 따릅니다. 2026-11-08에 LICENSE, 서드파티 README, Hugging Face 카드와 대조해 확인했습니다.

개요

T-Rex는 움직이는 동안 손끝 촉각에 반응하는 양손 정교 조작용 비전-언어-행동(VLA) 정책으로, UC Berkeley, NVIDIA, Stanford, 파나소닉, 로마 라 사피엔차 대학교, ItalAI 팀이 만들었습니다. 느린 행동 전문가가 카메라 이미지와 언어 지시로 약 5 Hz에서 한 구간의 동작을 계획하고, 작은 촉각 전문가가 열 개의 손끝에서 측정한 힘과 변형을 바탕으로 약 20 Hz에서 그 구간을 다듬으며, 비전 모델을 다시 실행하지 않습니다. 모델은 Qwen3-VL-2B를 기반으로 하며 세 단계로 학습합니다: 사람의 일인칭 시점 영상, 100시간 분량의 로봇 촉각 데이터셋, 작업당 약 100개의 시연입니다. 공개된 것은 사전 학습과 중간 학습 체크포인트, 후속 학습과 추론 코드, 데이터셋 중 LeRobot 형식으로 공개된 50시간 분량, 그리고 Sharpa Wave 손 두 개를 단 Dexmate Vega-1에서 이를 녹화한 원격 조작 스택입니다. 논문은 CoRL 2026에서 발표됩니다.

T-Rex는 정교한 조작을 위한 비전-언어-행동(VLA) 정책으로, 촉각을 또 하나의 정적 입력이 아니라 빠른 피드백 신호로 씁니다. 백본은 Qwen3-VL-2B 비전 언어 모델 위에 만든 Mixture-of-Transformers이며, 어텐션을 공유하는 세 개의 트랜스포머 전문가로 이루어집니다. 미래의 시각 특징을 예측하는 잠재 전문가, 플로 매칭으로 16스텝 행동 청크의 노이즈를 약 5 Hz로 제거하는 행동 전문가, 그리고 약 20 Hz로 도는 가벼운 촉각 전문가입니다. 두 행동 흐름은 연쇄 구조입니다. 행동 전문가가 노이즈 제거의 앞부분을 맡고 시각·언어 문맥을 캐시에 저장하면, 촉각 전문가가 그 캐시에서 출발해 새로운 촉각 값으로 청크마다 네 번 마무리합니다. 덕분에 정책은 비전 모델을 다시 돌리지 않고도 미끄러짐이나 과한 압력에 대응할 수 있습니다. 촉각은 손끝의 촉각 센서에서 두 가지 형태로 들어옵니다. 시계열 VQ-VAE가 각 손끝의 6축 힘/토크 값을 짧은 시간 창 단위로 손가락마다 하나의 이산 토큰으로 바꾸고, 별도의 네트워크가 각 손끝의 변형 맵을 읽습니다.

학습은 세 단계로 진행됩니다. EgoScale을 따라 잠재 전문가와 행동 전문가를 22,889시간의 사람 일인칭 시점 영상으로 사전 학습하고, 이어서 100시간 분량의 T-Rex 데이터셋으로 중간 학습을 하며 이때 촉각 전문가를 처음부터 학습합니다. 마지막으로 작업당 약 100개의 시연으로 정책을 미세 조정합니다. 데이터셋은 Dexmate Vega-1에서 원격 조작으로 녹화했으며, 로봇에는 22자유도 Sharpa Wave 손 두 개가 달려 있고 손마다 손끝 센서가 다섯 개 있습니다. 조작에는 Manus 장갑과 VIVE 트래커를 썼습니다. 닦기, 껍질 벗기기, 끼우기, 비틀기 같은 22가지 기본 동작을 200가지가 넘는 생활용품과 조합합니다. 그중 약 50시간, 5,464개 에피소드가 Hugging Face에 LeRobot v3.0 형식으로 공개되어 있으며, 머리와 손목 영상, 관절 상태와 목표값, 원본 및 변형 촉각 이미지, 손끝의 힘과 모멘트를 담고 있습니다. 퀵스타트는 에피소드를 하나씩 내려받아 3D로 재생하고, 브라우저 시각화 도구로 데이터 샘플을 볼 수 있습니다.

저장소에는 후속 학습과 추론 코드가 있고, 사전 학습과 중간 학습 코드는 full-pipeline 브랜치에 있습니다. 공개된 중간 학습 체크포인트가 새 작업으로 미세 조정하는 출발점이며, 사전 학습 체크포인트도 공개되어 있습니다. 추론은 GPU 머신의 서버로 실행되며, 로봇은 청크가 시작될 때마다 전체 추론을, 그 사이에는 촉각만의 업데이트를 요청합니다. 하드웨어 스택은 녹화 환경 전체를 더합니다. 장갑과 트래커를 이용한 원격 조작, 충돌 회피가 포함된 팔 전체의 역기구학, 카메라와 촉각 스트리밍, 동기화된 에피소드 녹화, 로봇 쪽 정책 클라이언트, 그리고 각 손을 팔에 연결하는 손목 마운트의 STEP 파일입니다.

논문에서는 T-Rex를 여섯 가지 방법과 12개의 실제 작업에서 비교합니다. 책장 넘기기, 달걀 옮기기, 치약 바르기, 자물쇠 열기, 카드 빼내기, 전구 끼우기 등이며 작업마다 16번 시도했습니다. 평균 성공률은 65%로, 가장 강한 기준선인 EgoScale은 35%, π0.5는 17%였습니다. π0.5에 촉각을 단순히 더하자 오히려 6%로 떨어졌습니다. 저자들이 여섯 개 작업에서 진행한 절제 실험에서는 촉각을 빼면 T-Rex 자체도 65%에서 42%로 떨어집니다. 이는 저자들이 자신들의 로봇에서 얻은 결과이며, 파나소닉의 발표로 논문이 CoRL 2026에서 발표된다는 점을 확인할 수 있습니다.

중요한 이유

openpi의 π0.5를 비롯한 대부분의 공개 VLA 정책은 카메라와 관절 위치만으로 움직이기 때문에, 카드가 미끄러지거나 달걀이 깨지기 직전인 것을 느끼지 못합니다. T-Rex는 촉각을 폐루프로 VLA에 끌어들이고, 연구실이 직접 시험해 보는 데 필요한 것을 모두 제공합니다. 촉각 중간 학습에서 출발하는 가중치, 후속 학습 코드, 대규모 공개 촉각 데이터셋, 그리고 그것을 녹화한 바로 그 원격 조작 스택입니다. 가장 중요한 교훈은 이 로봇에만 해당하지 않습니다. 논문에서 사전 학습된 VLA에 촉각 입력을 단순히 더하면 성능이 나빠졌지만, 촉각을 느린 플래너 위에서 도는 별도의 빠른 전문가로 다루자 분명히 좋아졌습니다. 데이터셋 자체도 모방 학습 연구의 자원으로, 같은 손 제조사의 훨씬 작은 Robotic Origami Challenge 데이터셋이나 OSMO 촉각 장갑 같은 장갑 기반 수집 방식과 나란히 쓸 수 있습니다. 걸림돌은 하드웨어입니다. 공개된 가중치와 코드는 Sharpa Wave 손 두 개와 그 손끝 센서를 단 Vega-1을 전제로 하므로, 대부분의 연구실은 데이터와 방법은 쓸 수 있어도 체크포인트를 그대로 돌릴 수는 없습니다.

해결하는 문제

비전-언어-행동 정책은 카메라 이미지로 초당 몇 번씩 계획하기 때문에, 책장이 넘어가는지, 달걀이 멀쩡한지, 카드가 빠져나오는지를 좌우하는 힘을 다루기에는 너무 느리고 거칩니다. T-Rex는 각 행동 청크 안에서 손끝의 힘과 변형으로 계획된 동작을 바로잡는 빠른 촉각 전문가를 더하고, 그런 행동을 배우는 데 필요한 공개 촉각 데이터셋과 학습 방법을 제공합니다.

핵심 요점

  • 두 개의 정교한 손을 위한 공개 촉각 VLA로, Qwen3-VL-2B를 기반으로 잠재·행동·촉각 전문가를 갖춤
  • 느린 행동 전문가가 약 5 Hz로 계획하고 빠른 촉각 전문가가 각 청크를 약 20 Hz로 다듬음
  • 시계열 VQ-VAE가 손끝의 힘과 토크 이력을 손가락마다 하나의 토큰으로 바꿈
  • 사람의 일인칭 시점 영상, 100시간 분량의 로봇 촉각 데이터셋, 작업당 약 100개의 시연으로 학습
  • 사전 학습과 중간 학습 체크포인트, 후속 학습 코드, LeRobot 형식의 50시간 분량 촉각 데이터를 MIT로 공개
  • 저자들의 시험에서 접촉이 많은 12개 작업의 평균 성공률 65%, 가장 강한 기준선은 35%

대상

  • VLA 정책에 촉각을 더하려는 로봇 학습 연구자
  • 정교한 손과 손끝 촉각 센서를 갖춘 연구실, 특히 Sharpa Wave 사용자
  • 촉각 또는 양손 원격 조작 데이터셋을 만드는 팀
  • 다중 주기 제어와 촉각 표현을 연구하는 연구자

한계

  • 체크포인트와 추론 클라이언트는 하나의 플랫폼, 즉 Sharpa Wave 손 두 개와 그 손끝 센서를 단 Dexmate Vega-1용이며, 다른 로봇에는 새로운 데이터와 후속 학습이 필요함
  • 데이터셋 100시간 중 약 50시간만 공개되었고 사전 학습과 중간 학습 코퍼스도 공개되지 않아 전체 학습을 재현할 수 없음
  • 공개 데이터셋은 약 1.4 TB이고 학습 스크립트는 노드당 8개의 GPU를 가정함. 논문은 학습에 NVIDIA H100 GPU 24개를 썼다고 밝힘
  • 모든 결과는 저자들 자신의 것으로, 자신들의 로봇에서 작업당 약 100개의 시연으로 얻었으며 아직 외부 재현이 없음
  • 하드웨어 스택은 AGPL-3.0인 Dexmate의 dexcontrol을 포함하고 Sharpa Wave SDK와 Sharpa Manus SDK가 필요함. 이 둘은 저장소에 없고 Sharpa 자체 조건을 따름
  • Vive 트래커 서버는 Windows에서만 돌고, 전체 녹화 환경에는 컴퓨터 네 대가 필요함

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.