Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

Autores: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um codificador treinado com JEPA coloca sensores piezorresistivos, magnéticos e visuotáteis em um mesmo espaço da ponta do dedo; congelado, eleva quatro políticas em 13,9–24,8 pontos em 26 tarefas reais e funciona em um sensor inédito.

Por que importa

O codificador permanece congelado e seus tokens são acrescentados a uma política existente (0,13–0,16% a mais de parâmetros nos três VLAs testados), de modo que o tato pode ser adicionado ao Diffusion Policy ou a um VLA sem retreinar o codificador. Ele se transferiu para a XHand1, uma mão magnética ausente do pré-treinamento, sem nenhuma atualização de parâmetros.

Problema

Sensores táteis comerciais (piezorresistivos, magnéticos, visuotáteis) têm, cada um, seus próprios canais, layout, resolução e taxa de amostragem, de modo que os dados de um não servem para treinar um modelo para outro. Não há um grande corpus tátil reunido nem uma representação compartilhada, e a maioria dos robôs ainda manipula apenas pela visão.

Solução proposta

O LingBot-Touch coloca os taxels de cada sensor em um espaço de coordenadas canônico da ponta do dedo, com endereços de token de cinco dimensões (tempo, dedo, posição 3D) codificados por embeddings rotativos, usa pequenos tokenizadores MLP por modalidade e um Haptic Transformer compartilhado, e o treina com o Tactile-JEPA, que prevê no espaço latente as representações dos taxels mascarados com uma máscara espacial de 80%, um aquecimento da máscara de 40% para 80% e aumento de dados de layout. Ele é pré-treinado com 4.983 horas (464.431 episódios, cerca de 1,33 bilhão de quadros) de luvas táteis humanas e de um robô teleoperado de dois braços com mãos Sharpa Wave.

Principais ideias

A entrada tátil bruta ajuda as políticas no máximo cerca de metade do que os tokens aprendidos e atrapalha em 22 de 104 pares tarefa-política.
A predição latente escala com os dados e a reconstrução não: um VAE piorou de 1K para 4K horas (erro do centro de contato 3,03 → 4,08 mm), enquanto o LingBot-Touch melhorou nas cinco sondas.
Força e dinâmica se transferem entre princípios de sensoriamento, mas a precisão espacial depende do layout próprio de cada sensor: com um orçamento fixo de 1.000 horas, um modelo de fonte única vence em seu próprio sensor em 7 de 8 pares.
O mascaramento deve se adequar a sinais esparsos: uma máscara de 80% superou uma de 90%, e aumentar gradualmente a proporção a partir de 40% evitou explosões de gradiente.
O modelo Tiny (5,46M) satura perto de 4K horas, enquanto o Small (21,76M) continua melhorando até 5K, então a capacidade precisa crescer com o corpus.

Principais resultados

26 tarefas reais de dois braços, 20 tentativas cada: Diffusion Policy 21,6% → 35,6%, π0.5 48,1% → 69,9%, LingBot-VLA 48,3% → 73,1%, T-Rex 45,4% → 68,6% com os tokens do LingBot-Touch.
Na XHand1 (sensor inédito no pré-treinamento), os tokens acrescentam 13,8–24,5 pontos nas quatro políticas, enquanto os sinais brutos mudam o sucesso entre −1,7 e +4,6 pontos.
Sondagem com o codificador congelado na Sharpa Wave: erro de força de 0,81 N, erro do centro de contato de 0,12 mm, recall top-5 de tato para vídeo de 72,6%, contra 2,31 N, 2,19 mm e 16,5% do FTP-1.
Na XHand1 inédita: 1,32 N, 0,16 mm e recall de 47,1%, contra 3,72 N, 5,89 mm e 6,0% do FTP-1 com um adaptador específico do sensor.
PPO em simulação em 12 tarefas: 69,0% de sucesso com as características do LingBot-Touch contra 45,6% (CNN treinada na tarefa), 38,5% (bruto), 30,3% (contato binário) e 21,4% (sem tato).
LingBot-VLA em cinco tarefas com Sharpa Wave: 55,9% sem tato, 67,5% com o codificador FTP-1, 82,2% com o LingBot-Touch.

Limitações

Os autores afirmam que os experimentos no mundo real e em simulação precisam de uma variedade maior de mãos com corpos diferentes.
Os autores observam que sensores capacitivos estão ausentes do pré-treinamento porque as gravações capacitivas disponíveis não atendiam a seus requisitos de qualidade.
Os autores observam que a geometria canônica e os layouts do pré-treinamento cobrem apenas as pontas dos dedos, deixando contatos da palma e do corpo dos dedos sub-representados.
Reunir sensores custa alguma precisão espacial em comparação com um modelo de fonte única com as mesmas horas.
Os tokens ficam abaixo da configuração com sinal bruto em 9 de 104 pares tarefa-política e abaixo da política original em 5.

Impacto na área

No Hugging Face daily papers, recebeu 98 votos positivos, entre os 5% melhores artigos de robótica ali nos últimos seis meses. O artigo afirma que o código de inferência, um pequeno conjunto de gravações táteis de amostra e checkpoints Tiny e Small pré-treinados com cerca de 5.000 horas serão disponibilizados, e lista um repositório no GitHub e uma coleção de checkpoints no Hugging Face.

Resumo

O sensoriamento tátil é uma modalidade indispensável para a manipulação destra rica em contato, uma capacidade que aponta para as fronteiras últimas da inteligência incorporada. No entanto, os sensores táteis disponíveis comercialmente ainda estão em um estágio de desenvolvimento relativamente inicial, com cada tipo de sensor oferecendo pontos fortes insubstituíveis ao lado de suas próprias desvantagens. Um desafio central é, portanto, libertar a compreensão tátil da física específica de cada sensor, para que modelos incorporados possam aproveitar de forma eficaz dados táteis heterogêneos. Para isso, desenvolvemos o LingBot-Touch, um modelo fundacional tátil caracterizado pelas seguintes propriedades. (i) Nosso modelo produz uma representação unificada entre diferentes sensores táteis (isto é, sensores piezorresistivos, magnéticos e visuotáteis) e é facilmente extensível a novos tipos de sensores. (ii) Os tokens táteis resultantes são plug-and-play: podem ser integrados sem atrito a modelos de política de diferentes paradigmas, do Diffusion Policy a modelos de visão-linguagem-ação (VLA) como π0.5 e LingBot-VLA, melhorando de forma consistente a destreza de manipulação. (iii) Experimentos extensos, abrangendo simulação e implantações em robôs reais em várias plataformas de hardware, demonstram que nossa representação tátil beneficia substancialmente tarefas de manipulação complexas, mantendo alta eficiência computacional. Acreditamos que os achados deste trabalho demonstram o potencial de aproveitar dados de diferentes sensores para escalar o aprendizado tátil e oferecem percepções encorajadoras para o projeto de hardware e de modelos incorporados futuros.

Open Source Robotics