Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

저자: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

압전 접촉 마이크가 촉각을 오디오로 바꾸므로, AudioSet 동영상으로 사전 학습한 인코더가 조작으로 전이되어 세 가지 실제 과제에서 비전 전용 정책과 처음부터 학습한 오디오 정책을 능가한다.

중요한 이유

접촉 마이크는 일반적인 촉각 센서에 비해 저렴하며, 광학식 및 자기식 촉각 센서의 30–400 Hz에 비해 32–48 kHz로 진동을 기록한다. 신호가 오디오이므로 팀은 대규모 촉각 데이터셋을 수집하는 대신 기존 인터넷 규모 오디오-비주얼 모델을 재사용할 수 있으며, 이는 시연이 수십 개밖에 없을 때 중요하다.

문제

로봇 학습에서 시각 표현에 대한 대규모 사전 학습은 일상적이지만, 촉각과 기타 비시각 모달리티는 인터넷 규모 데이터가 없어 여전히 처음부터 학습된다. 과제당 수십 개의 시연이 있는 로보틱스의 흔한 저데이터 환경에서는 이 때문에 촉각 감지가 충분히 활용되지 못한다.

제안 방법

Franka 그리퍼에 단 네 개의 압전 접촉 마이크가 그리퍼에서, 그리고 숟가락이나 뒤집개 같은 쥔 도구를 통해 접촉 진동을 오디오로 기록한다. 오디오 인코더는 AudioSet으로 사전 학습한 자기 지도 오디오-비주얼 모델인 AVID로, 이미지 인코더는 R3M(Ego4D로 사전 학습한 ResNet18)으로 초기화한다. 둘 다 고정하지 않으며, 6-D 델타 엔드 이펙터 행동의 짧은 시퀀스를 예측하는 행동 복제 정책 안에서 셀프 어텐션 블록으로 융합된다.

핵심 통찰

• 로봇의 접촉 오디오는 인터넷 오디오와 충분히 가까워서, 도메인 격차에도 불구하고 AudioSet 오디오-비주얼 사전 학습이 전이된다.
• 중요한 것은 사전 학습 데이터의 규모다. 도메인 내 접촉 오디오로만 사전 학습한 BYOL-A는 무작위로 초기화한 오디오 인코더와 비슷한 성능을 보였다(뒤집기에서는 더 좋고, 뜨기와 지퍼 잠그기에서는 더 나쁨).
• 사전 학습된 오디오 특징은 시각적 세부 사항에 대한 과적합을 줄였다. 뒤집기에서 비전 전용 성공률은 학습 설정에서 테스트 설정으로 갈 때 약 60% 떨어졌고, 오디오-비주얼 정책은 약 20% 떨어졌다.
• 셀프 어텐션 융합은 필요하지만 충분하지는 않다. 트랜스포머를 MLP로 바꾸자 뜨기에서 성공률과 보상이 거의 50% 줄어 처음부터 학습한 베이스라인 수준으로 떨어졌다.
• 정책 학습 중 사전 학습된 AVID 오디오 인코더를 고정해도 성능은 약간만 떨어졌다.

주요 결과

• 뒤집기(시연 40회): 성공률 50.0%, BYOL-A 25.0%, 처음부터 학습한 오디오 인코더 15.4%, 비전 전용 0.0%.
• 뜨기(시연 60회): 성공률 78.1%, 처음부터 학습 50.0%, 비전 전용 28.1%, BYOL-A 25.0%.
• 지퍼 잠그기(시연 50회): 성공률 88.9%, 처음부터 학습 72.2%, BYOL-A 66.7%, 비전 전용 44.4%.
• 차선 베이스라인보다 평균적으로 0-1 성공률이 23%, 보상이 76% 높다. 9개 과제 구성 중 8개에서 모든 베이스라인을 능가하거나 대등하다.
• 뜨기에서 성공률은 시연이 30회에서 60회, 90회로 늘어남에 따라 꾸준히 올랐으며, 비전 전용 베이스라인과 대체로 같은 비율이었다.
• 정책의 파라미터는 약 20M개이며, RTX 3080 Ti GPU 한 장에서 1–1.5시간에 학습된다.

한계

• 저자들은 집어서 놓기처럼 덜 동적인 과제에서는 접촉 마이크가 덜 유용할 수 있다고 언급한다.
• 로봇 자체가 상당한 진동을 일으킬 때도 덜 유용할 수 있다.
• 접촉 시 인지할 수 있는 진동을 내지 않는 변형 가능한 물체에는 도움이 되지 않을 수 있다.
• 평가는 하나의 로봇 팔에서 세 가지 과제를 다루며, 과제당 시연은 최대 60회다(스케일링 절제 실험에서는 90회).

분야에 미친 영향

ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation 최종 후보에 올랐으며, 인용 수는 31회다. 논문은 실제 로봇 실험 동영상이 있는 프로젝트 페이지를 안내하지만 코드는 링크하지 않는다.

초록

대량의 데이터에 대한 사전 학습은 로봇 학습에 유익하지만, 현재 패러다임은 시각 표현에 대해서만 대규모 사전 학습을 수행하고 다른 모달리티의 표현은 처음부터 학습한다. 풍부한 시각 데이터와 달리, 촉각 감지 같은 다른 모달리티를 사전 학습하는 데 어떤 관련 인터넷 규모 데이터를 사용할 수 있는지는 분명하지 않다. 이러한 사전 학습은 로보틱스 응용에서 흔한 저데이터 환경에서 점점 더 중요해진다. 이 논문에서 우리는 접촉 마이크를 대안적인 촉각 센서로 사용하여 이 격차를 해결한다. 우리의 핵심 통찰은 접촉 마이크가 본질적으로 오디오 기반 정보를 포착하므로, 대규모 오디오-비주얼 사전 학습을 활용하여 로봇 조작 성능을 높이는 표현을 얻을 수 있다는 것이다. 우리가 아는 한, 우리 방법은 로봇 조작을 위해 대규모 다감각 사전 학습을 활용하는 최초의 접근법이다. 실제 로봇 실험 동영상을 포함한 보충 정보는 https://sites.google.com/view/hearing-touch 를 참조하라.

링크

• arXiv 2405.08576: https://arxiv.org/abs/2405.08576
• DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
• PDF: https://arxiv.org/pdf/2405.08576v1
• 프로젝트 페이지: https://sites.google.com/view/hearing-touch