PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-Rich Manipulation Using Tactile-Diffusion Policies

저자: Jialiang Zhao, Naveen Kuppuswamy, Siyuan Feng, Benjamin Burchfiel, Edward Adelson · ICRA 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

PolyTouch는 카메라 기반 촉각, 접촉 마이크, 주변 시야를 내구성 있는 하나의 손가락에 담는다. 이를 사용하는 촉각 Diffusion Policy는 네 가지 양팔 작업에서 시각-고유수용 정책을 이긴다.

중요한 이유

접촉이 많은 장시간 사용을 견디고 성형 장비 없이 만들 수 있는 촉각 손가락 덕분에, 학습된 정책이 필요로 하는 규모로 로봇에서 촉각 데이터를 수집하는 것이 현실적이 된다. 네 가지 시험 작업은 촉각 감지를 위해 고른 것이 아닌 평범한 양팔 작업이었으며, 렌치를 너무 세게 누르거나 뒤집개를 너무 약하게 누르는 것처럼 촉각 없이 나타난 힘 관련 실패가 촉각 입력이 있을 때는 발생하지 않았다.

문제

외부 시각과 고유수용성 감각에만 의존하는 정책은 가림, 어수선하거나 보기 어려운 물체, 그리고 접촉력의 정밀한 조절이 필요한 작업에서 어려움을 겪는다. 카메라 기반 촉각 센서는 높은 공간 해상도를 주지만 일반적으로 100 Hz 미만으로 동작하고, 마모, 찢어짐, 박리로 닳으며, 제작에 특수 장비가 필요하고, 감지 영역이 커질수록 부피가 커진다.

제안 방법

PolyTouch는 카메라 기반 촉각 표면(곡면 거울을 통해 엘라스토머를 보는 IMX708 카메라, 450 nm 파란색 LED와 형광 도료로 조명), 48 kHz 압전 접촉 마이크, 두 개의 측면 창을 통한 주변 시야를 결합한 로봇 손가락으로, 용도를 바꾼 HDMI 케이블 하나로 Raspberry Pi에 스트리밍한다. 기본 엘라스토머는 알루미늄 플레이크로 문지르고 3M Soft & Stretch 테이프로 덮은 투명 3M VHB 테이프이며, 교체를 위해 밀어서 빼낼 수 있는 카트리지에 들어 있다. 실리콘 옵션은 XP-565 고무를 사용한다. 촉각 Diffusion Policy는 촉각 및 주변 이미지를 사전 학습된 T3 인코더로, 손목 및 장면 이미지를 CLIP으로, 오디오를 Audio Spectrogram Transformer로, 고유수용 정보를 MLP로 인코딩하고, 이를 교차 어텐션으로 융합한 뒤 U-Net Diffusion Policy로 행동을 예측한다.

핵심 통찰

엘라스토머로 접착성 VHB 테이프를 쓰면 실리콘 젤의 박리 문제가 거의 완전히 사라지며, 경험이 없는 사람도 VHB 엘라스토머 하나를 5분 이내에 만들 수 있다.
과도하거나 부족한 힘(렌치를 끼울 때 너무 세게 누르기, 떠낼 때 뒤집개를 충분히 세게 누르지 않기)은 시각-고유수용 정책에서만 나타났고, 촉각을 포함한 두 정책 어느 쪽에서도 나타나지 않았다.
부정확한 파지는 visuo-proprio 정책에서 11회, 촉각 포함 정책에서는 평균 3회 관찰되었다. 저자들은 이를 파지 중의 근접 주변 시야 덕분으로 본다.
모달리티가 많을수록 더 많은 데이터가 필요할 수 있다. 달걀 서빙 정책을 데이터의 1/3 또는 2/3로 학습했을 때 visuo-proprio 정책 대비 이득이 줄었으며, 저자들은 이를 더 큰 모델 크기와 연결한다.

주요 결과

모사된 도구 사용(뒤집개 손잡이에 10~30 N 파지, 연속적인 무작위 6D 문지르기)에서의 내구성: PolyTouch-VHB는 실패나 이미지 품질 저하 없이 35 h 동안 작동했다. 표준 GelSight Mini 젤 두 개는 1.0 h(젤 찢어짐)와 3.3 h(도료 손실) 동안 버텼고, GelSight Mini에 장착한 맞춤형 XP-565 젤은 25.0 h 동안 버텼다. 초록과 서론은 이를 상용 센서 대비 최소 20배의 수명 증가로 설명한다.
추정 비용은 손가락당 약 61 USD이며, 대부분 기성 재료로 특수 장비 없이 만든다.
모든 데이터를 사용한 Serve Egg: 평균 작업 진행률 81%(visuo-proprio), 88%(multi-concate), 100%(multi-crossatn), 평균 작업 성공률 66%, 73%, 100%.
다른 작업들의 평균 작업 성공률(visuo-proprio / multi-concate / multi-crossatn): Insert Wrench 0% / 20% / 18%, Sort Fruit 33% / 46% / 46%, Crack Egg 50% / 53% / 54%.
블랙베리와 블루베리 분류는 촉각 포함 정책에서 80%, visuo-proprio 정책에서 20%의 비율로 성공했다.
visuo-proprio 대비 multi-crossatn의 Serve Egg 진행률 이득: 모든 데이터에서 19%, 2/3에서 3%, 1/3에서 7%. 성공률 이득은 모든 데이터에서 34%, 2/3에서 20%.

한계

점탄성 아크릴 폼 VHB 테이프는 접촉 후 천천히 회복되며, 이 히스테리시스는 동적인 작업에서 응답을 느리게 하거나 모호함을 일으킬 수 있다. 저자들은 시간 차분 이미지, 주변 시야와의 교차 확인, 또는 점성이 덜한 소재를 제안한다(명시된 한계).
다중 모달 정책은 이점을 온전히 보이려면 더 많은 데이터가 필요해 보였는데, 아마 더 큰 모델 때문일 것이다(저자들이 명시).
학습 세트는 작업당 약 70~200개 시연으로 작으며, 논문은 각 표 항목이 몇 회의 평가 실행에 기반하는지 밝히지 않는다.
수명 비교는 하나의 모사된 도구 사용 설정과 하나의 상용 센서 계열(GelSight Mini)만 사용한다.
실리콘 엘라스토머는 VHB보다 빠르게 반응하지만 다른 실리콘 센서와 같은 제작 공정이 필요하다.

분야에 미친 영향

IEEE ICRA 2025 Best Paper Award in Field and Service Robotics를 수상했으며 인용 수는 53회다. 논문은 손가락당 추정 61 USD의 부품 목록과 제작 단계를 제시하고 프로젝트 페이지를 안내하지만, 코드나 설계 파일은 링크하지 않는다.

초록

비정형 가정 환경에서 강건한 정교한 조작을 달성하는 것은 로봇공학의 여전히 중요한 과제다. 최신 로봇 학습 방법을 쓰더라도, 햅틱을 고려하지 않는 제어 전략(즉, 외부 시각 및/또는 고유수용성 감각에만 의존하는 전략)은 가림, 시각적 복잡성, 정밀한 접촉 상호작용 제어의 필요성 때문에 종종 부족하다. 이러한 한계를 해결하기 위해, 우리는 카메라 기반 촉각 감지, 음향 감지, 주변 시각 감지를 작고 내구성 있는 단일 설계로 통합한 새로운 로봇 손가락 PolyTouch를 소개한다. PolyTouch는 여러 시간 척도에 걸쳐 고해상도 촉각 피드백을 제공하며, 이는 복잡한 조작 작업을 효율적으로 학습하는 데 필수적이다. 실험은 상용 촉각 센서 대비 최소 20배의 수명 증가를 보여 주며, 설계는 제조가 쉽고 확장 가능하다. 이어서 우리는 이 다중 모달 촉각 피드백을 시각-고유수용 관측과 함께 사용하여 인간 시연으로부터 촉각 Diffusion Policy를 합성한다. 그 결과 얻은 접촉 인식 제어 정책은 여러 접촉 인식 조작 정책에서 햅틱을 고려하지 않는 정책을 크게 능가한다. 본 논문은 다중 모달 접촉 감지를 효과적으로 통합하는 것이 효과적인 접촉 인식 조작 정책의 개발을 어떻게 앞당길 수 있는지 강조하며, 더 신뢰할 수 있고 다재다능한 가정용 로봇의 길을 연다. 자세한 정보는 https://polytouch.alanz.info/ 에서 확인할 수 있다.

링크

arXiv 2504.19341: https://arxiv.org/abs/2504.19341
DOI 10.1109/ICRA55743.2025.11128816: https://doi.org/10.1109/ICRA55743.2025.11128816
PDF: https://arxiv.org/pdf/2504.19341v1
프로젝트 페이지: https://polytouch.alanz.info/