Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

저자: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

JEPA로 학습한 인코더가 압저항식, 자기식, 시각-촉각 센서를 하나의 손끝 공간에 담는다. 고정된 상태로 네 가지 정책을 실제 과제 26개에서 13.9–24.8점 높이며, 본 적 없는 센서에서도 동작한다.

중요한 이유

인코더는 고정된 채 그 토큰만 기존 정책에 추가되므로(시험한 VLA 세 개에서 파라미터 0.13–0.16% 증가), 인코더를 재학습하지 않고도 Diffusion Policy나 VLA에 촉각을 더할 수 있다. 사전 학습에 없던 자기식 손인 XHand1으로 파라미터 업데이트 없이 전이되었다.

문제

상용 촉각 센서(압저항식, 자기식, 시각-촉각)는 각자 고유한 채널, 배치, 해상도, 샘플링 속도를 가지므로, 한 센서의 데이터로 다른 센서용 모델을 학습할 수 없다. 대규모로 통합된 촉각 말뭉치도 공유된 표현도 없으며, 대부분의 로봇은 여전히 시각만으로 조작한다.

제안 방법

LingBot-Touch는 모든 센서의 택셀을 표준 손끝 좌표 공간에 배치하고, 회전 임베딩으로 인코딩한 5차원 토큰 주소(시간, 손가락, 3D 위치)를 사용하며, 모달리티별 소형 MLP 토크나이저와 공유된 Haptic Transformer를 쓴다. 이를 Tactile-JEPA로 학습하는데, Tactile-JEPA는 80% 공간 마스크, 40%에서 80%로 올리는 마스크 워밍업, 배치 증강과 함께 마스킹된 택셀의 표현을 잠재 공간에서 예측한다. 사람의 촉각 장갑과 Sharpa Wave 손을 단 원격 조작 양팔 로봇에서 얻은 4,983시간(에피소드 464,431개, 약 13.3억 프레임)으로 사전 학습한다.

핵심 통찰

원시 촉각 입력은 정책에 기껏해야 학습된 토큰의 절반 정도만 도움이 되며, 과제-정책 쌍 104개 중 22개에서는 오히려 해가 된다.
잠재 예측은 데이터와 함께 확장되지만 재구성은 그렇지 않다. VAE는 1K시간에서 4K시간으로 가면서 나빠졌지만(접촉 중심 오차 3.03 → 4.08 mm), LingBot-Touch는 다섯 가지 프로브 모두에서 개선되었다.
힘과 동역학은 감지 원리를 넘어 전이되지만, 공간 정밀도는 센서 자체의 배치에 좌우된다. 1,000시간의 고정 예산에서는 단일 소스 모델이 8쌍 중 7쌍에서 자신의 센서에 대해 더 낫다.
마스킹은 희소한 신호에 맞아야 한다. 80% 마스크가 90%보다 나았으며, 비율을 40%에서부터 점차 올리자 기울기 폭발을 피할 수 있었다.
Tiny 모델(5.46M)은 4K시간 부근에서 포화하지만 Small(21.76M)은 5K시간까지 계속 개선되므로, 용량은 말뭉치와 함께 커져야 한다.

주요 결과

실제 양팔 과제 26개, 과제당 20회 시행: LingBot-Touch 토큰을 더하면 Diffusion Policy 21.6% → 35.6%, π0.5 48.1% → 69.9%, LingBot-VLA 48.3% → 73.1%, T-Rex 45.4% → 68.6%.
XHand1(사전 학습에 없던 센서)에서 토큰은 네 가지 정책 전반에 13.8–24.5점을 더하는 반면, 원시 신호는 성공률을 −1.7에서 +4.6점 바꾼다.
Sharpa Wave에서의 고정 인코더 프로빙: 힘 오차 0.81 N, 접촉 중심 오차 0.12 mm, 촉각-영상 top-5 재현율 72.6%로, FTP-1의 2.31 N, 2.19 mm, 16.5%보다 낫다.
본 적 없는 XHand1에서: 1.32 N, 0.16 mm, 재현율 47.1%로, 센서별 어댑터를 쓴 FTP-1의 3.72 N, 5.89 mm, 6.0%보다 낫다.
12개 과제에 대한 시뮬레이션 PPO: LingBot-Touch 특징 사용 시 성공률 69.0%, 과제별 학습 CNN 45.6%, 원시 신호 38.5%, 이진 접촉 30.3%, 촉각 없음 21.4%.
Sharpa Wave 과제 5개에서 LingBot-VLA: 촉각 없음 55.9%, FTP-1 인코더 67.5%, LingBot-Touch 82.2%.

한계

저자들은 실제 환경 및 시뮬레이션 실험에 더 다양한 손 본체가 필요하다고 밝힌다.
저자들은 확보한 정전용량식 기록이 품질 요건을 충족하지 못해 정전용량식 센서가 사전 학습에서 빠졌다고 언급한다.
저자들은 표준 기하와 사전 학습 배치가 손끝만 다루므로 손바닥과 손가락 몸체의 접촉이 충분히 반영되지 않는다고 언급한다.
센서를 통합하면 같은 시간의 데이터를 쓴 단일 소스 모델에 비해 공간 정밀도가 다소 떨어진다.
토큰은 과제-정책 쌍 104개 중 9개에서 원시 신호 구성보다, 5개에서 원래 정책보다 낮다.

분야에 미친 영향

Hugging Face daily papers에서 추천 98개를 받아, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%에 들었다. 논문은 추론 코드, 소규모 촉각 기록 샘플, 약 5,000시간으로 사전 학습한 Tiny 및 Small 체크포인트를 공개할 예정이라고 밝히며, GitHub 저장소와 Hugging Face 체크포인트 컬렉션을 제시한다.

초록

촉각 감지는 접촉이 많은 정교 조작에 없어서는 안 될 모달리티이며, 이 능력은 체화 지능의 궁극적인 최전선을 암시한다. 그러나 상용 촉각 센서는 아직 비교적 초기 개발 단계에 있으며, 각 센서 유형은 대체할 수 없는 장점과 함께 고유한 단점을 지닌다. 따라서 핵심 과제는 촉각 이해를 센서별 물리로부터 해방시켜, 체화 모델이 이질적인 촉각 데이터를 효과적으로 활용할 수 있게 하는 것이다. 이를 위해 우리는 다음과 같은 특성을 갖는 촉각 파운데이션 모델 LingBot-Touch를 개발한다. (i) 우리 모델은 서로 다른 촉각 센서(즉, 압저항식, 자기식, 시각-촉각 센서)에 걸쳐 통합된 표현을 만들어 내며, 새로운 센서 유형으로 쉽게 확장할 수 있다. (ii) 결과로 얻은 촉각 토큰은 플러그 앤드 플레이 방식이다. Diffusion Policy부터 π0.5와 LingBot-VLA 같은 Vision-Language-Action(VLA) 모델까지 여러 패러다임의 정책 모델에 매끄럽게 통합되어 조작의 정교함을 일관되게 높인다. (iii) 여러 하드웨어 플랫폼에 걸친 시뮬레이션과 실제 로봇 배치를 아우르는 광범위한 실험은 우리의 촉각 표현이 강한 계산 효율을 유지하면서 복잡한 조작 과제에 크게 도움이 됨을 보여 준다. 우리는 본 연구의 결과가 교차 센서 데이터를 활용하여 촉각 학습을 확장할 수 있는 잠재력을 보여 주며, 향후 하드웨어와 체화 모델의 설계에 고무적인 통찰을 제공한다고 믿는다.

링크

arXiv 2611.12806: https://arxiv.org/abs/2611.12806
PDF: https://arxiv.org/pdf/2611.12806v1
코드: https://github.com/robbyant/lingbot-touch
프로젝트 페이지: https://technology.robbyant.com/lingbot-touch