Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

T-Rex

Política reativa ao toque para duas mãos hábeis, com pesos abertos e dados táteis

Licença

  • code: MIT
  • released checkpoints and the T-Rex Dataset: MIT
  • base model Qwen3-VL-2B-Instruct: Apache 2.0
  • vendored Dexmate and Sharpa robot descriptions: Apache 2.0

Código: MIT, Copyright 2026 The Regents of the University of California, conforme LICENSE. Checkpoints publicados e conjunto de dados T-Rex: MIT, conforme seus cartões no Hugging Face. Modelo base Qwen3-VL-2B-Instruct: Apache-2.0. Exceções no repositório: as descrições de robô incluídas da Dexmate e da Sharpa são Apache-2.0, e o dexcontrol da Dexmate no sistema de hardware é AGPL-3.0. Não incluídos: os SDKs Sharpa Wave e Sharpa Manus de que o sistema de hardware precisa, sob os termos próprios da Sharpa. Verificado em 2026-11-08 com LICENSE, os READMEs de terceiros e os cartões do Hugging Face.

Visão geral

T-Rex é uma política de visão, linguagem e ação para manipulação hábil com duas mãos que reage ao toque nas pontas dos dedos enquanto se move. Vem de uma equipe da UC Berkeley, NVIDIA, Stanford, Panasonic, Universidade Sapienza de Roma e ItalAI. Um especialista de ação lento planeja um trecho de movimento a partir de imagens de câmera e de uma instrução em linguagem natural a cerca de 5 Hz, e um pequeno especialista tátil refina esse trecho a cerca de 20 Hz com as forças e deformações medidas em dez pontas de dedos, sem rodar de novo o modelo de visão. O modelo é baseado no Qwen3-VL-2B e treinado em três etapas: vídeo egocêntrico de pessoas, um conjunto de dados tátil de robô de 100 horas e cerca de 100 demonstrações por tarefa. A publicação inclui os checkpoints de pré-treinamento e de treinamento intermediário, o código de pós-treinamento e inferência, uma parte pública de 50 horas do conjunto de dados no formato LeRobot e o sistema de teleoperação usado para gravá-lo em um Dexmate Vega-1 com duas mãos Sharpa Wave. O artigo é apresentado na CoRL 2026.

T-Rex é uma política visão-linguagem-ação (VLA) para manipulação hábil que usa o toque como sinal rápido de realimentação, e não como mais uma entrada estática. Sua base é uma mistura de transformadores (Mixture-of-Transformers) construída sobre o modelo de visão e linguagem Qwen3-VL-2B, com três especialistas transformador que compartilham a atenção: um especialista latente que prevê características visuais futuras, um especialista de ação que remove o ruído de um trecho de ação de 16 passos com flow matching a cerca de 5 Hz, e um especialista tátil leve que roda a cerca de 20 Hz. Os dois fluxos de ação ficam em cascata: o especialista de ação faz a primeira parte da remoção de ruído e guarda em cache seu contexto de visão e linguagem, e o especialista tátil termina o trecho a partir desse cache com leituras de toque novas quatro vezes por trecho, para que a política reaja a um escorregão ou a uma pressão excessiva sem rodar de novo o modelo de visão. O toque vem de sensores táteis nas pontas dos dedos, em duas formas: um VQ-VAE temporal transforma uma janela curta de força e torque em 6 eixos de cada ponta de dedo em um token discreto por dedo, e uma rede separada lê o mapa de deformação de cada ponta de dedo.

O treinamento tem três etapas. Seguindo o EgoScale, os especialistas latente e de ação são pré-treinados com 22.889 horas de vídeo egocêntrico de pessoas; depois passam por um treinamento intermediário com o conjunto de dados T-Rex de 100 horas, no qual o especialista tátil é treinado do zero; por fim, a política é ajustada com cerca de 100 demonstrações por tarefa. O conjunto de dados foi gravado por teleoperação em um Vega-1 da Dexmate com duas mãos Wave da Sharpa de 22 DoF, cada uma com cinco sensores nas pontas dos dedos, usando luvas da Manus e rastreadores VIVE. Ele combina 22 primitivas motoras, como limpar, descascar, encaixar e girar, com mais de 200 objetos domésticos. Cerca de 50 horas, 5.464 episódios, são públicas no Hugging Face no formato LeRobot v3.0, com vídeo da cabeça e dos punhos, estados e alvos das juntas, imagens táteis brutas e de deformação, e forças e momentos nas pontas dos dedos. Um guia rápido baixa episódios avulsos e os reproduz em 3D, e um visualizador no navegador mostra amostras dos dados.

O repositório traz o código de pós-treinamento e inferência; o código de pré-treinamento e de treinamento intermediário está no branch full-pipeline. O checkpoint de treinamento intermediário publicado é o ponto de partida para ajustar o modelo a uma nova tarefa, e um checkpoint de pré-treinamento também está disponível. A inferência roda como um servidor em uma máquina com GPU, que o robô consulta para uma passada completa no início de cada trecho e para atualizações só táteis entre elas. O sistema de hardware acrescenta toda a montagem de gravação: teleoperação com luvas e rastreadores, com cinemática inversa do braço inteiro e prevenção de colisões, transmissão de câmeras e toque, gravação sincronizada de episódios, o cliente da política no robô e arquivos STEP do suporte de punho que liga cada mão ao braço.

No artigo, T-Rex é comparado com seis métodos em 12 tarefas reais, entre elas virar a página de um livro, transferir um ovo, aplicar pasta de dente, abrir um cadeado, puxar um cartão e rosquear uma lâmpada, com 16 tentativas por tarefa. Ele chega a 65% de sucesso em média, contra 35% do EgoScale, a referência mais forte, e 17% do π0.5; simplesmente adicionar toque ao π0.5 o derrubou para 6%. Sem toque, o próprio T-Rex cai de 65% para 42% na ablação dos autores em seis das tarefas. São resultados dos próprios autores, no próprio robô; o anúncio da Panasonic confirma que o artigo é apresentado na CoRL 2026.

Por que importa

A maioria das políticas VLA abertas, incluindo o π0.5 do openpi, age apenas com câmeras e posições das juntas, então não percebe quando um cartão escorrega ou um ovo está prestes a quebrar. T-Rex leva o toque a um VLA em malha fechada e entrega tudo o que um laboratório precisa para testá-lo: pesos que partem do treinamento intermediário tátil, o código de pós-treinamento, um grande conjunto de dados tátil público e exatamente o sistema de teleoperação que o gravou. Sua principal lição vale além deste robô: no artigo, apenas acrescentar entradas táteis a um VLA pré-treinado o piorou, enquanto tratar o toque como um especialista rápido separado sobre um planejador lento o melhorou claramente. O conjunto de dados também é um recurso por si só para pesquisa em aprendizado por imitação, ao lado do bem menor Robotic Origami Challenge, do mesmo fabricante de mãos, e de captura com luvas como a luva tátil OSMO. O porém é o hardware: os pesos e o código publicados pressupõem um Vega-1 com duas mãos Sharpa Wave e seus sensores nas pontas dos dedos, então a maioria dos laboratórios pode usar os dados e o método, mas não rodar os checkpoints como estão.

Problema que resolve

Políticas de visão, linguagem e ação planejam a partir de imagens de câmera a poucos hertz, devagar e grosseiro demais para controlar as forças que decidem se uma página vira, se um ovo continua inteiro ou se um cartão sai. T-Rex acrescenta um especialista tátil rápido que corrige o movimento planejado com a força e a deformação nas pontas dos dedos dentro de cada trecho de ação, e oferece o conjunto de dados tátil aberto e a receita de treinamento necessários para aprender esse comportamento.

Pontos principais

  • VLA tátil aberto para duas mãos hábeis, baseado no Qwen3-VL-2B com especialistas latente, de ação e tátil
  • Um especialista de ação lento planeja a cerca de 5 Hz e um especialista tátil rápido refina cada trecho a cerca de 20 Hz
  • Um VQ-VAE temporal transforma o histórico de força e torque nas pontas dos dedos em um token por dedo
  • Treinado com vídeo egocêntrico de pessoas, um conjunto de dados tátil de robô de 100 horas e cerca de 100 demonstrações por tarefa
  • Checkpoints de pré-treinamento e de treinamento intermediário, código de pós-treinamento e 50 horas de dados táteis no formato LeRobot são públicos sob MIT
  • Média de 65% de sucesso em 12 tarefas com muito contato contra 35% da referência mais forte, nos testes dos autores

Para quem é

  • Pesquisadores de aprendizado de robôs que adicionam toque a políticas VLA
  • Laboratórios com mãos hábeis e sensores táteis nas pontas dos dedos, principalmente usuários da Sharpa Wave
  • Equipes que montam conjuntos de dados de teleoperação tátil ou com duas mãos
  • Pesquisadores de controle em várias frequências e de representações táteis

Limitações

  • Os checkpoints e o cliente de inferência foram feitos para uma única plataforma, um Dexmate Vega-1 com duas mãos Sharpa Wave e seus sensores nas pontas dos dedos; outros robôs precisam de novos dados e pós-treinamento
  • Só cerca de 50 das 100 horas do conjunto de dados são públicas, e os corpora de pré-treinamento e de treinamento intermediário não foram publicados, então o treinamento completo não pode ser reproduzido
  • O conjunto de dados público tem cerca de 1,4 TB, e os scripts de treinamento pressupõem nós de 8 GPUs; o artigo cita 24 GPUs NVIDIA H100 para seus treinamentos
  • Todos os resultados são dos próprios autores, no robô deles, com cerca de 100 demonstrações por tarefa e ainda sem replicação externa
  • O sistema de hardware inclui o dexcontrol da Dexmate sob AGPL-3.0 e precisa dos SDKs Sharpa Wave e Sharpa Manus, que não fazem parte do repositório e seguem os termos próprios da Sharpa
  • O servidor dos rastreadores Vive só roda no Windows, e a montagem completa de gravação usa quatro máquinas

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.