Camera-Based Tactile Sensor

• 다른 이름: vision-based tactile sensor, optical tactile sensor, visuotactile sensor
• 카테고리: Sensing › Contact & force
• 태그: tactile-sensing, manipulation, elastomer, computer-vision, grippers

흔히 코팅되거나 마커가 표시된 부드러운 엘라스토머 스킨의 안쪽을 카메라가 촬영하여, 접촉의 형상과 움직임을 고해상도 이미지로 바꾸는 촉각 센서.

정의

카메라 기반 촉각 센서(camera-based tactile sensor)는 비전 기반 촉각 센서 또는 광학식 촉각 센서라고도 하며, 변형 가능한 접촉면을 뒤에서 촬영하여 촉각을 측정한다. 전형적인 설계는 부드러운 엘라스토머 패드로 이루어지며, 패드에는 흔히 얇은 불투명 또는 반사 코팅이 입혀져 있고, 한쪽 이상의 측면에서 LED로 조명되며, 단단한 투명 지지체를 통해 소형 카메라가 이를 본다. 물체가 패드를 누르면 코팅이 물체의 국소 형상을 따라 변형되고, 카메라는 음영의 변화를 본다. 다른 설계는 인쇄되거나 내장된 마커를 추적하여 그 변위로 전단과 미끄러짐을 알아내거나, TacTip 계열처럼 스킨 안쪽에 성형된 핀을 촬영한다.

출력이 이미지이므로 이런 센서는 이산 감지 소자, 즉 택셀(taxel)의 배열보다 훨씬 높은 공간 해상도를 제공한다. 서로 다른 색의 조명을 이용한 광도 스테레오로 접촉의 깊이 맵을 재구성할 수 있는데, MIT에서 Johnson과 Adelson의 레트로그래픽 센싱 연구로부터 발전한 GelSight 센서가 그 예다. 마커 추적은 전단장과 미끄러짐의 시작을 추정하고, 학습된 모델은 이미지에서 직접 접촉력, 물체 자세, 질감을 추정할 수 있다. DIGIT 같은 공개 설계와 GelSlim처럼 그리퍼 손가락에 내장된 얇은 버전 덕분에 이 센서는 조작 연구에서 흔해졌다.

카메라 기반 센서는 촉각 센서의 한 종류이며, 저항식, 정전용량식, 압전식 배열과는 중요한 점에서 다르다. 카메라와 광학계 때문에 부피가 더 크고 작거나 굽은 손가락 끝에 넣기 어려우며, 대역폭이 카메라 프레임 레이트로 제한되므로 고주파 진동에는 다른 센싱이 필요하다. 엘라스토머는 마모되고 찢어지며 온도에 따라 강성이 변하므로 젤과 코팅은 소모품이고, 힘 추정치는 드리프트할 수 있는 캘리브레이션에 의존한다. 데이터 전송률도 스칼라 센서보다 훨씬 높아서, 실시간 제어와 학습 파이프라인에서 중요한 고려 사항이 된다.

중요한 이유

손 안 재배치, 삽입, 케이블 따라가기, 미끄러짐 감지 같은 많은 조작 기술은 접촉의 정확한 형상과 움직임을 아는 데 달려 있다. 카메라 기반 촉각 센서는 저렴한 부품으로 그 정보를 이미지 해상도로 제공하며, 이미지 출력은 로봇 학습에서 널리 쓰이는 비전 기반 학습 방법에 그대로 들어맞는다.

주요 응용

• 손 안 자세 추정과 재파지
• 미끄러짐 감지와 파지력 제어
• 삽입 및 케이블이나 커넥터 조작
• 질감, 경도, 재질 인식
• 학습된 조작 정책을 위한 촉각 입력
• 정밀한 정렬이 필요한 접촉이 많은 조립

실제 사례

한 연구실이 커넥터 삽입 작업을 위해 평행 그리퍼의 두 손가락에 카메라 기반 촉각 센서를 단다. 팀은 매 세션 전에 접촉이 없는 기준 이미지를 촬영하고, 실행 시에는 차분 이미지를 계산해 접촉 패치를 분할하고 커넥터 모서리의 방향으로부터 손 안에서의 커넥터 각도를 추정한다. 마커 변위장은 커넥터가 미끄러지기 시작하는 시점을 보여 주며, 이것이 파지력 증가를 촉발한다. 잘라 내고 다운샘플링한 촉각 이미지는 손목 카메라 이미지와 함께 학습된 정책에도 입력된다. 팀은 예비 젤 패드를 갖추고, 교체할 때마다 재캘리브레이션하며, 기준 이미지에서 찢어짐이나 코팅 마모를 살핀다.

흔한 오해

• 카메라 기반 촉각 센서는 힘을 직접 측정한다 — 변형과 마커 움직임을 측정하며, 힘은 캘리브레이션이나 학습된 모델을 통해 추론해야 한다
• 카메라 기반 촉각 센서는 촉각 센서와 별개의 범주다 — 전기적 감지 소자 대신 광학을 쓰는 촉각 센서의 한 종류다
• 이미지 해상도가 높으면 응답도 빠르다 — 시간 대역폭은 카메라 프레임 레이트와 처리에 의해 제한되므로, 빠른 진동과 충격에는 다른 센싱이 필요하다
• 엘라스토머 스킨은 영구 부품이다 — 젤과 코팅은 사용하면서 마모되고 찢어지므로 주기적으로 교체하고, 그 뒤 재캘리브레이션한다

알아야 할 사람

• 조작 및 정교한 로봇 손 연구자
• 그리퍼 및 엔드 이펙터 설계자
• 멀티모달 입력을 다루는 로봇 학습 엔지니어
• 촉각 손가락 끝을 만드는 하드웨어 메이커

관련 기술

• GelSight
• DIGIT
• TacTip
• 광도 스테레오(Photometric Stereo)
• 실리콘 엘라스토머 주조(Silicone Elastomer Casting)
• 광학 흐름(Optical Flow)

관련 용어

• Tactile Sensor
• Force-Sensitive Resistor
• Dexterous Manipulation
• RGB Camera
• Visuomotor Policy

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments