Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

作者: Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning · arXiv 2026

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个用 JEPA 训练的编码器把压阻式、磁性和视触觉传感器置于同一个指尖空间；在冻结状态下，它让四种策略在 26 项真实任务上提高 13.9–24.8 个百分点，并且在一种未见过的传感器上同样有效。

为何重要

编码器保持冻结，其 token 被加入现有策略中（对所测试的三种 VLA 而言参数增加 0.13–0.16%），因此无需重新训练编码器，就能为扩散策略或 VLA 加上触觉。它无需任何参数更新就迁移到了 XHand1，这是一种未出现在预训练中的磁性手。

问题

商用触觉传感器（压阻式、磁性、视触觉）各自有不同的通道、布局、分辨率和采样率，因此一种传感器的数据无法用来为另一种传感器训练模型。目前没有大型的汇集式触觉语料库，也没有共享的表征，大多数机器人仍然只靠视觉进行操作。

提出的方法

LingBot-Touch 把每种传感器的触觉单元（taxel）放入一个规范的指尖坐标空间，使用由旋转位置编码编码的五维 token 地址（时间、手指、3D 位置），采用小型的按模态划分的 MLP 分词器和一个共享的 Haptic Transformer，并用 Tactile-JEPA 进行训练：在潜在空间中预测被掩码触觉单元的表征，采用 80% 的空间掩码、从 40% 到 80% 的掩码预热以及布局增强。它在来自人类触觉手套和一台配备 Sharpa Wave 手的遥操作双臂机器人的 4,983 小时数据（464,431 个回合，约 13.3 亿帧）上进行预训练。

关键见解

原始触觉输入对策略的帮助至多约为习得 token 的一半，并且在 104 个任务-策略组合中的 22 个里反而有害。
潜在空间预测随数据增加而提升，重建则不然：VAE 从 1K 小时到 4K 小时反而变差（接触中心误差 3.03 → 4.08 mm），而 LingBot-Touch 在全部五项探测上都有所提升。
力和动力学信息可以跨感知原理迁移，但空间精度取决于传感器自身的布局：在固定的 1,000 小时预算下，单一来源模型在 8 对比较中的 7 对里在其自身传感器上胜出。
掩码必须适应稀疏信号：80% 的掩码优于 90%，而把掩码比例从 40% 开始逐步升高避免了梯度爆炸。
Tiny 模型（5.46M）在接近 4K 小时时趋于饱和，而 Small（21.76M）持续提升到 5K 小时，因此模型容量必须随语料规模增长。

主要结果

26 项真实双臂任务，每项 20 次试验：加入 LingBot-Touch token 后，扩散策略（Diffusion Policy）21.6% → 35.6%，π0.5 48.1% → 69.9%，LingBot-VLA 48.3% → 73.1%，T-Rex 45.4% → 68.6%。
在 XHand1（预训练中未见过的传感器）上，这些 token 使四种策略提高 13.8–24.5 个百分点，而原始信号使成功率变化 −1.7 到 +4.6 个百分点。
在 Sharpa Wave 上的冻结编码器探测：力误差 0.81 N，接触中心误差 0.12 mm，触觉到视频的 top-5 召回率 72.6%，而 FTP-1 为 2.31 N、2.19 mm 和 16.5%。
在未见过的 XHand1 上：1.32 N、0.16 mm 和 47.1% 的召回率，而带有特定传感器适配器的 FTP-1 为 3.72 N、5.89 mm 和 6.0%。
在 12 项任务上的仿真 PPO：使用 LingBot-Touch 特征时成功率为 69.0%，而任务训练的 CNN 为 45.6%，原始信号为 38.5%，二元接触为 30.3%，无触觉为 21.4%。
LingBot-VLA 在五项 Sharpa Wave 任务上：无触觉 55.9%，使用 FTP-1 编码器 67.5%，使用 LingBot-Touch 82.2%。

局限

作者表示，真实世界和仿真实验都需要更多种类的手部本体。
作者指出，预训练中没有电容式传感器，因为现有的电容式记录数据未达到他们的质量要求。
作者指出，规范几何和预训练布局只覆盖指尖，手掌和手指其余部分的接触代表性不足。
在相同时长的数据下，与单一来源模型相比，汇集多种传感器会损失一些空间精度。
在 104 个任务-策略组合中，有 9 个组合的 token 结果低于原始信号配置，有 5 个低于原始策略。

对领域的影响

在 Hugging Face 每日论文上获得 98 个赞，位列该平台过去六个月机器人论文的前 5%。论文表示将发布推理代码、一小组触觉记录样本，以及在约 5,000 小时数据上预训练的 Tiny 和 Small 检查点，并列出了一个 GitHub 仓库和一个 Hugging Face 检查点合集。

摘要

触觉感知是接触丰富的灵巧操作中不可或缺的模态，而这种能力指向了具身智能的终极前沿。然而，商用触觉传感器仍处于相对早期的发展阶段，每种传感器都各有不可替代的优势，也各有其缺点。因此，一个关键挑战是让触觉理解摆脱特定传感器的物理特性，使具身模型能够有效利用异构的触觉数据。为此，我们开发了 LingBot-Touch，这是一个具有以下特性的触觉基础模型。(i) 我们的模型在不同的触觉传感器（即压阻式、磁性和视触觉传感器）之间产生统一的表征，并且可以方便地扩展到新的传感器类型。(ii) 所得到的触觉 token 即插即用：它们可以无缝集成到各种范式的策略模型中，从扩散策略（Diffusion Policy）到 π0.5 和 LingBot-VLA 等视觉-语言-动作（VLA）模型，并持续提升操作的灵巧性。(iii) 涵盖仿真以及多个硬件平台上真实机器人部署的大量实验表明，我们的触觉表征在保持高计算效率的同时，显著有益于复杂的操作任务。我们相信，这项工作的发现展示了利用跨传感器数据扩展触觉学习的潜力，并为未来硬件和具身模型的设计提供了令人鼓舞的启示。

链接

arXiv 2611.12806: https://arxiv.org/abs/2611.12806
PDF: https://arxiv.org/pdf/2611.12806v1
代码: https://github.com/robbyant/lingbot-touch
项目主页: https://technology.robbyant.com/lingbot-touch