Camera-Based Tactile Sensor

• Também chamado: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• Categoria: Sensing › Contact & force
• Tags: tactile-sensing, manipulation, elastomer, computer-vision, grippers

Um sensor tátil em que uma câmera gera imagens do interior de uma pele de elastômero macio, muitas vezes revestida ou com marcadores, transformando a forma e o movimento de um contato em imagens de alta resolução.

Definição

Um sensor tátil baseado em câmera (camera-based tactile sensor), também chamado de sensor tátil baseado em visão ou óptico, mede o toque gerando imagens de uma superfície de contato deformável por trás. Um projeto típico tem uma almofada de elastômero macio, muitas vezes com um revestimento fino opaco ou refletivo, iluminada por LEDs de um ou mais lados e observada por uma pequena câmera através de um suporte rígido transparente. Quando um objeto pressiona a almofada, o revestimento assume a forma local do objeto e a câmera vê a mudança no sombreamento. Outros projetos rastreiam marcadores impressos ou embutidos cujo deslocamento revela cisalhamento e escorregamento, ou geram imagens de pinos moldados na parte interna de uma pele, como na família TacTip.

Como a saída é uma imagem, esses sensores oferecem resolução espacial muito maior do que matrizes de elementos sensores discretos, ou taxels. O estéreo fotométrico com luzes de cores diferentes pode reconstruir um mapa de profundidade do contato, como nos sensores GelSight, que nasceram do trabalho de sensoriamento retrográfico de Johnson e Adelson no MIT. O rastreamento de marcadores estima campos de cisalhamento e o início do escorregamento, e modelos aprendidos podem estimar força de contato, pose do objeto ou textura diretamente das imagens. Projetos publicados abertamente, como o DIGIT, e versões finas integradas aos dedos da garra, como o GelSlim, tornaram esses sensores comuns na pesquisa em manipulação.

Sensores baseados em câmera são um tipo de sensor tátil, e diferem de matrizes resistivas, capacitivas e piezoelétricas em aspectos importantes. A câmera e a óptica os tornam mais volumosos e mais difíceis de encaixar em pontas de dedo pequenas ou curvas, e sua largura de banda é limitada pela taxa de quadros da câmera, então vibrações de alta frequência exigem outro tipo de sensoriamento. O elastômero se desgasta, rasga e muda de rigidez com a temperatura, então géis e revestimentos são peças consumíveis, e as estimativas de força dependem de uma calibração que pode derivar. Suas taxas de dados também são muito maiores do que as de sensores escalares, o que importa para controle em tempo real e pipelines de aprendizado.

Por que importa

Muitas habilidades de manipulação, como reposicionamento na mão, inserção, acompanhamento de cabos e detecção de escorregamento, dependem de conhecer a forma e o movimento exatos de um contato. Sensores táteis baseados em câmera fornecem essa informação com resolução de imagem a partir de componentes baratos, e sua saída em imagem se encaixa diretamente nos métodos de aprendizado baseados em visão amplamente usados no aprendizado robótico.

Principais aplicações

• Estimativa de pose na mão e repegada
• Detecção de escorregamento e controle da força de preensão
• Inserção e manipulação de cabos ou conectores
• Reconhecimento de textura, dureza e material
• Entrada tátil para políticas de manipulação aprendidas
• Montagem com muito contato que exige alinhamento fino

Na prática

Um laboratório instala sensores táteis baseados em câmera nos dois dedos de uma garra paralela para uma tarefa de inserção de conector. Antes de cada sessão, a equipe captura uma imagem de referência sem contato e, em tempo de execução, calcula a imagem de diferença para segmentar a área de contato e estimar o ângulo do conector na mão a partir da orientação de sua borda. Os campos de deslocamento dos marcadores mostram quando o conector começa a escorregar, o que dispara um aumento na força de preensão. Imagens táteis recortadas e subamostradas também são alimentadas, junto com imagens da câmera do punho, em uma política aprendida. A equipe mantém almofadas de gel sobressalentes, recalibra após cada troca e observa a imagem de referência em busca de rasgos ou desgaste do revestimento.

Equívocos comuns

• Sensores táteis baseados em câmera medem força diretamente — eles medem deformação e movimento dos marcadores, e a força precisa ser inferida por calibração ou modelos aprendidos
• Eles são uma categoria separada dos sensores táteis — são um tipo de sensor tátil, que usa óptica em vez de elementos sensores elétricos
• Alta resolução de imagem significa resposta rápida — a largura de banda temporal é limitada pela taxa de quadros da câmera e pelo processamento, então vibrações rápidas e impactos exigem outro tipo de sensoriamento
• A pele de elastômero é uma peça permanente — géis e revestimentos se desgastam e rasgam com o uso e são substituídos periodicamente, seguidos de recalibração

Quem deve saber

• Pesquisadores de manipulação e de mãos destras
• Projetistas de garras e efetuadores finais
• Engenheiros de aprendizado robótico que trabalham com entradas multimodais
• Makers de hardware que constroem pontas de dedo táteis

Tecnologias relacionadas

• GelSight
• DIGIT
• TacTip
• Estéreo fotométrico (Photometric Stereo)
• Moldagem de elastômero de silicone (Silicone Elastomer Casting)
• Fluxo óptico (Optical Flow)

Termos relacionados

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

Projetos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments