Camera-Based Tactile Sensor

• También llamado: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• Categoría: Sensing › Contact & force
• Etiquetas: tactile-sensing, manipulation, elastomer, computer-vision, grippers

Un sensor táctil en el que una cámara capta imágenes del interior de una piel de elastómero blando, a menudo recubierta o con marcadores, y convierte la forma y el movimiento de un contacto en imágenes de alta resolución.

Definición

Un sensor táctil basado en cámara (camera-based tactile sensor), también llamado sensor táctil basado en visión u óptico, mide el tacto obteniendo imágenes de una superficie de contacto deformable desde detrás. Un diseño típico tiene una almohadilla de elastómero blando, a menudo con un fino recubrimiento opaco o reflectante, iluminada por LED desde uno o más lados y observada por una pequeña cámara a través de un soporte rígido transparente. Cuando un objeto presiona la almohadilla, el recubrimiento adopta la forma local del objeto y la cámara ve el cambio de sombreado. Otros diseños siguen marcadores impresos o incrustados cuyo desplazamiento revela el cizallamiento y el deslizamiento, o captan imágenes de pines moldeados en el interior de una piel, como en la familia TacTip.

Como la salida es una imagen, estos sensores ofrecen una resolución espacial mucho mayor que las matrices de elementos sensores discretos, o taxels. El estéreo fotométrico con luces de distintos colores puede reconstruir un mapa de profundidad del contacto, como en los sensores GelSight, que surgieron del trabajo de sensado retrográfico de Johnson y Adelson en el MIT. El seguimiento de marcadores estima los campos de cizallamiento y el inicio del deslizamiento, y los modelos aprendidos pueden estimar la fuerza de contacto, la pose del objeto o la textura directamente a partir de las imágenes. Los diseños publicados abiertamente como DIGIT, y las versiones delgadas integradas en los dedos de la pinza como GelSlim, han hecho que estos sensores sean habituales en la investigación en manipulación.

Los sensores basados en cámara son un tipo de sensor táctil, y se diferencian de las matrices resistivas, capacitivas y piezoeléctricas en aspectos importantes. La cámara y la óptica los hacen más voluminosos y más difíciles de encajar en yemas de dedo pequeñas o curvas, y su ancho de banda está limitado por la frecuencia de imagen de la cámara, por lo que la vibración de alta frecuencia requiere otro tipo de sensado. El elastómero se desgasta, se rasga y cambia de rigidez con la temperatura, así que los geles y recubrimientos son piezas consumibles, y las estimaciones de fuerza dependen de una calibración que puede derivar. Sus tasas de datos también son mucho mayores que las de los sensores escalares, lo que importa para el control en tiempo real y las cadenas de aprendizaje.

Por qué importa

Muchas habilidades de manipulación, como el reposicionamiento en la mano, la inserción, el seguimiento de cables y la detección de deslizamiento, dependen de conocer la forma y el movimiento exactos de un contacto. Los sensores táctiles basados en cámara proporcionan esa información con resolución de imagen a partir de componentes económicos, y su salida en forma de imagen encaja directamente en los métodos de aprendizaje basados en visión ampliamente usados en el aprendizaje robótico.

Aplicaciones clave

• Estimación de pose en la mano y reagarre
• Detección de deslizamiento y control de la fuerza de agarre
• Inserción y manipulación de cables o conectores
• Reconocimiento de textura, dureza y material
• Entrada táctil para políticas de manipulación aprendidas
• Ensamblaje con mucho contacto que requiere una alineación fina

En la práctica

Un laboratorio monta sensores táctiles basados en cámara en ambos dedos de una pinza paralela para una tarea de inserción de conectores. Antes de cada sesión, el equipo captura una imagen de referencia sin contacto y, en tiempo de ejecución, calcula la imagen de diferencia para segmentar la zona de contacto y estimar el ángulo del conector en la mano a partir de la orientación de su borde. Los campos de desplazamiento de los marcadores muestran cuándo el conector empieza a deslizarse, lo que desencadena un aumento de la fuerza de agarre. Las imágenes táctiles recortadas y submuestreadas también se introducen, junto con las imágenes de la cámara de muñeca, en una política aprendida. El equipo guarda almohadillas de gel de repuesto, recalibra tras cada sustitución y vigila la imagen de referencia en busca de roturas o desgaste del recubrimiento.

Ideas erróneas comunes

• Los sensores táctiles basados en cámara miden la fuerza directamente — miden la deformación y el movimiento de los marcadores, y la fuerza debe inferirse mediante calibración o modelos aprendidos
• Son una categoría distinta de los sensores táctiles — son un tipo de sensor táctil, que usa óptica en lugar de elementos sensores eléctricos
• Una alta resolución de imagen significa una respuesta rápida — el ancho de banda temporal está limitado por la frecuencia de imagen de la cámara y el procesamiento, así que la vibración rápida y los impactos requieren otro tipo de sensado
• La piel de elastómero es una pieza permanente — los geles y recubrimientos se desgastan y rasgan con el uso y se sustituyen periódicamente, con una recalibración posterior

Quién debería saberlo

• Investigadores en manipulación y manos diestras
• Diseñadores de pinzas y efectores finales
• Ingenieros de aprendizaje robótico que trabajan con entradas multimodales
• Makers de hardware que construyen yemas táctiles

Tecnologías relacionadas

• GelSight
• DIGIT
• TacTip
• Estéreo fotométrico (Photometric Stereo)
• Moldeo de elastómero de silicona (Silicone Elastomer Casting)
• Flujo óptico (Optical Flow)

Términos relacionados

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments