PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

作者: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

PolyTouch 把基于相机的触觉、接触式麦克风和周边视觉集成在一根耐用的手指中；使用它的触觉扩散策略在四项双臂任务上胜过视觉-本体感觉策略。

为何重要

一根能经受长时间富接触使用、且无需模具设备即可制作的触觉手指，使得以学习策略所需的规模在机器人上收集触觉数据变得切实可行。四项测试任务都是普通的双臂任务，并非为触觉感知而挑选；没有触觉时出现的与力相关的失败，例如把扳手压得太重或把锅铲压得太轻，在有触觉输入时没有出现。

问题

只依赖外部视觉和本体感觉的策略难以应对遮挡、杂乱或难以看清的物体，以及需要精确调节接触力的任务。基于相机的触觉传感器提供高空间分辨率，但通常运行频率低于 100 Hz，会因磨损、撕裂和分层而损坏，需要专门的设备来制造，并且随着感知面积增大而变得笨重。

提出的方法

PolyTouch 是一根机器人手指，它结合了基于相机的触觉表面（一个 IMX708 相机通过曲面镜观察弹性体，由 450 nm 蓝色 LED 和荧光涂料照明）、一个 48 kHz 压电接触式麦克风，以及通过两个侧窗实现的周边视觉，所有数据通过一根改作他用的 HDMI 线传输到 Raspberry Pi。默认弹性体是透明的 3M VHB 胶带，表面擦涂铝片并覆盖 3M Soft & Stretch 胶带，装在一个可滑出更换的卡匣中；硅胶方案使用 XP-565 橡胶。触觉扩散策略用预训练的 T3 编码器编码触觉和周边图像，用 CLIP 编码腕部和场景图像，用 Audio Spectrogram Transformer 编码音频，用 MLP 编码本体感觉，通过交叉注意力将它们融合，并用 U-Net 扩散策略预测动作。

关键见解

• 使用 VHB 胶带作为弹性体，几乎完全消除了硅胶凝胶的分层问题，而且一个没有经验的人制作一个 VHB 弹性体只需不到 5 分钟。
• 用力过大或不足（插入扳手时压得太重，舀取时锅铲压得不够）只出现在视觉加本体感觉的策略中，从未出现在任何一种包含触觉的策略中。
• 视觉-本体感觉策略出现了 11 次不精确的抓取，而包含触觉的策略平均为 3 次；作者将此归因于抓取过程中的近距离周边视角。
• 更多模态可能需要更多数据：当上蛋策略只用 1/3 或 2/3 的数据训练时，相对于视觉-本体感觉策略的提升缩小了，作者将此与更大的模型规模联系起来。

主要结果

• 模拟工具使用下的耐久性（以 10 到 30 N 的力抓握锅铲手柄，连续随机 6D 摩擦）：PolyTouch-VHB 运行了 35 h，没有失效，图像质量也没有下降；两个标准 GelSight Mini 凝胶分别坚持了 1.0 h（凝胶撕裂）和 3.3 h（涂层脱落）；GelSight Mini 上的定制 XP-565 凝胶坚持了 25.0 h。摘要和引言把这描述为寿命比商用传感器至少提高 20 倍。
• 估计每根手指成本约 61 USD，主要用现成材料制作，无需专门设备。
• 使用全部数据的 Serve Egg：平均任务进度为 81%（visuo-proprio）、88%（multi-concate）、100%（multi-crossatn）；平均任务成功率为 66%、73% 和 100%。
• 其他任务的平均任务成功率（visuo-proprio / multi-concate / multi-crossatn）：Insert Wrench 0% / 20% / 18%，Sort Fruit 33% / 46% / 46%，Crack Egg 50% / 53% / 54%。
• 区分黑莓与蓝莓的分拣，包含触觉的策略成功率为 80%，而视觉-本体感觉策略为 20%。
• Serve Egg 上 multi-crossatn 相对于 visuo-proprio 的进度提升：全部数据时为 19%，2/3 数据时为 3%，1/3 数据时为 7%；成功率提升在全部数据时为 34%，2/3 数据时为 20%。

局限

• 粘弹性的丙烯酸泡棉 VHB 胶带在接触后恢复缓慢，这种迟滞可能在动态任务中导致响应变慢或产生歧义；作者建议使用时间差分图像、与周边视图交叉核对，或使用黏性更低的材料（已陈述的局限）。
• 多模态策略似乎需要更多数据才能充分体现其优势，可能是由于模型更大（作者陈述）。
• 训练集很小，每个任务约 70 到 200 条演示，且论文没有说明每个表格条目基于多少次评估运行。
• 寿命比较只使用了一种模拟工具使用的设置和一个商用传感器系列（GelSight Mini）。
• 硅胶弹性体的响应比 VHB 快，但需要与其他硅胶传感器相同的制造流程。

对领域的影响

获得 IEEE ICRA 2025 野外与服务机器人最佳论文奖；被引用 53 次。论文给出了这根手指的物料清单（估计每根 61 USD）及其制作步骤，并指向一个项目页面；没有链接代码或设计文件。

摘要

在非结构化的家庭环境中实现稳健的灵巧操作，仍是机器人学中的一项重大挑战。即使采用最先进的机器人学习方法，不考虑触觉的控制策略（即只依赖外部视觉和/或本体感觉的策略）也常常因遮挡、视觉复杂性以及对精确接触交互控制的需求而力不从心。为解决这些局限，我们推出 PolyTouch，一种新的机器人手指，它把基于相机的触觉感知、声学感知和周边视觉感知集成到一个紧凑而耐用的设计中。PolyTouch 在多个时间尺度上提供高分辨率的触觉反馈，这对于高效学习复杂的操作任务至关重要。实验表明，其寿命比商用触觉传感器至少提高了 20 倍，且设计易于制造、可规模化。随后，我们把这种多模态触觉反馈与视觉-本体感觉观测结合，从人类演示中合成一个触觉扩散策略；由此得到的接触感知控制策略在多种接触感知操作策略中显著优于不考虑触觉的策略。本文强调，有效集成多模态接触感知可以加快有效的接触感知操作策略的开发，为更可靠、更通用的家用机器人铺平道路。更多信息见 https://polytouch.alanz.info/。

链接

• arXiv 2504.19341: https://arxiv.org/abs/2504.19341
• DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
• PDF: https://arxiv.org/pdf/2504.19341v1
• 项目主页: https://polytouch.alanz.info/