Camera-Based Tactile Sensor

• Aussi appelé: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• Catégorie: Sensing › Contact & force
• Mots-clés: tactile-sensing, manipulation, elastomer, computer-vision, grippers

Capteur tactile dans lequel une caméra filme l'intérieur d'une peau souple en élastomère, souvent revêtue ou munie de marqueurs, transformant la forme et le mouvement d'un contact en images haute résolution.

Définition

Un capteur tactile à caméra (camera-based tactile sensor), également appelé capteur tactile visuel ou optique, mesure le toucher en filmant par l'arrière une surface de contact déformable. Une conception typique comporte un coussinet souple en élastomère, souvent recouvert d'un mince revêtement opaque ou réfléchissant, éclairé par des LED sur un ou plusieurs côtés et observé par une petite caméra à travers un support rigide transparent. Lorsqu'un objet s'enfonce dans le coussinet, le revêtement épouse la forme locale de l'objet et la caméra voit le changement d'ombrage. D'autres conceptions suivent des marqueurs imprimés ou intégrés dont le déplacement révèle le cisaillement et le glissement, ou filment des picots moulés à l'intérieur d'une peau, comme dans la famille TacTip.

Comme la sortie est une image, ces capteurs offrent une résolution spatiale bien plus élevée que les matrices d'éléments sensibles discrets, ou taxels. La stéréo photométrique avec des éclairages de couleurs différentes permet de reconstruire une carte de profondeur du contact, comme dans les capteurs GelSight issus des travaux de Johnson et Adelson sur la détection rétrographique au MIT. Le suivi de marqueurs estime les champs de cisaillement et le début du glissement, et des modèles appris peuvent estimer la force de contact, la pose de l'objet ou la texture directement à partir des images. Des conceptions publiées en accès libre comme DIGIT, et des versions minces intégrées aux doigts de pince comme GelSlim, ont rendu ces capteurs courants dans la recherche en manipulation.

Les capteurs à caméra sont un type de capteurs tactiles, et ils diffèrent sur des points importants des matrices résistives, capacitives et piézoélectriques. La caméra et l'optique les rendent plus encombrants et plus difficiles à loger dans des bouts de doigts petits ou courbes, et leur bande passante est limitée par la fréquence d'images de la caméra, si bien que les vibrations à haute fréquence demandent d'autres capteurs. L'élastomère s'use, se déchire et change de raideur avec la température, de sorte que gels et revêtements sont des consommables, et les estimations de force dépendent d'un étalonnage qui peut dériver. Leurs débits de données sont aussi bien plus élevés que ceux des capteurs scalaires, ce qui compte pour la commande en temps réel et les chaînes d'apprentissage.

Pourquoi c'est important

De nombreuses compétences de manipulation, comme le repositionnement dans la main, l'insertion, le suivi de câble et la détection de glissement, dépendent de la connaissance exacte de la forme et du mouvement d'un contact. Les capteurs tactiles à caméra fournissent cette information à la résolution d'une image à partir de composants peu coûteux, et leur sortie sous forme d'image s'intègre directement aux méthodes d'apprentissage fondées sur la vision largement utilisées en apprentissage robotique.

Applications principales

• Estimation de pose dans la main et reprise de saisie
• Détection de glissement et commande de la force de serrage
• Insertion et manipulation de câbles ou de connecteurs
• Reconnaissance de texture, de dureté et de matériau
• Entrée tactile pour des politiques de manipulation apprises
• Assemblage riche en contacts nécessitant un alignement fin

En pratique

Un laboratoire équipe les deux doigts d'une pince parallèle de capteurs tactiles à caméra pour une tâche d'insertion de connecteur. Avant chaque séance, l'équipe capture une image de référence sans contact et, à l'exécution, calcule l'image de différence pour segmenter la zone de contact et estimer l'angle du connecteur dans la main à partir de l'orientation de son bord. Les champs de déplacement des marqueurs montrent quand le connecteur commence à glisser, ce qui déclenche une augmentation de la force de serrage. Des images tactiles recadrées et sous-échantillonnées sont aussi fournies, avec les images de la caméra de poignet, à une politique apprise. L'équipe garde des coussinets de gel de rechange, réétalonne après chaque remplacement et surveille l'image de référence pour repérer des déchirures ou une usure du revêtement.

Idées reçues

• Les capteurs tactiles à caméra mesurent directement la force — ils mesurent la déformation et le mouvement des marqueurs, et la force doit être déduite par étalonnage ou par des modèles appris
• Ils forment une catégorie distincte des capteurs tactiles — ils sont un type de capteur tactile, qui utilise l'optique au lieu d'éléments sensibles électriques
• Une haute résolution d'image signifie une réponse rapide — la bande passante temporelle est limitée par la fréquence d'images de la caméra et par le traitement, si bien que les vibrations rapides et les chocs demandent d'autres capteurs
• La peau en élastomère est une pièce permanente — gels et revêtements s'usent et se déchirent à l'usage et sont remplacés périodiquement, après quoi on réétalonne

Qui devrait le savoir

• Chercheurs en manipulation et en mains dextres
• Concepteurs de pinces et d'effecteurs terminaux
• Ingénieurs en apprentissage robotique travaillant avec des entrées multimodales
• Makers matériels qui fabriquent des bouts de doigts tactiles

Technologies associées

• GelSight
• DIGIT
• TacTip
• Stéréo photométrique (Photometric Stereo)
• Moulage d'élastomère silicone (Silicone Elastomer Casting)
• Flux optique (Optical Flow)

Termes associés

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments