Camera-Based Tactile Sensor

• 又称: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• 类别: Sensing › Contact & force
• 标签: tactile-sensing, manipulation, elastomer, computer-vision, grippers

一种触觉传感器：由相机对柔软弹性体皮肤（通常带涂层或标记）的内侧成像，把接触的形状和运动转换为高分辨率图像。

定义

基于相机的触觉传感器（camera-based tactile sensor），也称为基于视觉的触觉传感器或光学触觉传感器，通过从背面对一个可变形的接触表面成像来测量触觉。典型的设计有一块柔软的弹性体垫，通常带有一层薄的不透明或反光涂层，由从一侧或多侧照射的 LED 照明，并由一个小相机透过刚性透明支撑件进行观察。当物体压入垫子时，涂层会呈现物体的局部形状，相机则看到明暗的变化。其他设计会跟踪印刷或嵌入的标记点，其位移可以揭示剪切和滑移；或者对模塑在皮肤内侧的针状凸起成像，如 TacTip 系列。

由于输出是图像，这类传感器的空间分辨率远高于由离散传感单元（即触觉单元，taxel）组成的阵列。使用不同颜色光源的光度立体法可以重建接触的深度图，例如源自 Johnson 和 Adelson 在 MIT 的逆反射传感（retrographic sensing）工作的 GelSight 传感器。标记点跟踪可以估计剪切场和滑移的开始，而学习模型可以直接从图像中估计接触力、物体位姿或纹理。DIGIT 等公开发布的设计，以及 GelSlim 等内置于夹爪手指中的轻薄版本，使这类传感器在操作研究中变得很常见。

基于相机的传感器是触觉传感器的一种，它们在一些重要方面不同于电阻式、电容式和压电式阵列。相机和光学元件使它们更笨重，更难装进小型或弯曲的指尖，而且它们的带宽受相机帧率限制，因此高频振动需要其他感知手段。弹性体会磨损、撕裂，其刚度还会随温度变化，因此凝胶和涂层是消耗件，力的估计依赖于可能漂移的标定。它们的数据速率也远高于标量传感器，这对实时控制和学习流程很重要。

为何重要

许多操作技能，例如手内重新定位、插装、沿线缆移动和滑移检测，都依赖于了解接触的精确形状和运动。基于相机的触觉传感器用廉价的元件以图像分辨率提供这些信息，而且它们的图像输出可以直接接入机器人学习中广泛使用的基于视觉的学习方法。

主要应用

• 手内位姿估计和重新抓取
• 滑移检测和抓握力控制
• 插装以及线缆或连接器操作
• 纹理、硬度和材料识别
• 为学习型操作策略提供触觉输入
• 需要精细对准的接触密集型装配

实际应用

一个实验室为平行夹爪的两根手指都装上基于相机的触觉传感器，用于连接器插装任务。每次实验前，团队采集一张无接触的参考图像，运行时计算差分图像以分割出接触区域，并根据连接器边缘的方向估计它在手中的角度。标记点位移场显示连接器何时开始滑移，这会触发增大抓握力。经过裁剪和降采样的触觉图像还与腕部相机图像一起输入一个学习策略。团队备有备用凝胶垫，每次更换后重新标定，并留意参考图像中的撕裂或涂层磨损。

常见误解

• 基于相机的触觉传感器直接测量力 — 它们测量的是形变和标记点运动，力必须通过标定或学习模型来推断
• 它们是与触觉传感器分开的一个类别 — 它们是触觉传感器的一种，用光学代替电学传感单元
• 图像分辨率高就意味着响应快 — 时间带宽受相机帧率和处理的限制，因此快速振动和冲击需要其他感知手段
• 弹性体皮肤是永久部件 — 凝胶和涂层在使用中会磨损和撕裂，需要定期更换，更换后还要重新标定

谁需要了解

• 操作和灵巧手研究人员
• 夹爪和末端执行器设计者
• 处理多模态输入的机器人学习工程师
• 制作触觉指尖的硬件创客

相关技术

• GelSight
• DIGIT
• TacTip
• 光度立体法（Photometric Stereo）
• 硅胶弹性体浇注（Silicone Elastomer Casting）
• 光流（Optical Flow）

相关术语

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments