The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

저자: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

MultiGen은 물리 시뮬레이터와 미세조정된 비디오-오디오 변환 모델을 결합하여 시청각 따르기 데이터를 만들고, 실제 로봇 데이터 없이 실제 액체를 제로샷으로 따르는 정책을 학습시킨다.

중요한 이유

시뮬레이터가 잘 모델링하지 못하는 감각으로 로봇을 학습시키는 방법을 보여 준다. 그 물리를 시뮬레이션하는 대신 실제 영상에서 신호를 학습하는 것이다. 액체가 가려지거나 용기가 투명한 따르기 작업에서, 생성된 오디오는 로봇 시연을 전혀 수집하지 않고도 실제 환경 정확도를 높인다.

문제

다중 모달 로봇 정책에는 동기화된 영상, 오디오, 촉각, 행동 데이터가 필요하며, 이를 대규모로 수집하려면 정밀한 캘리브레이션, 고가의 하드웨어, 인력이 든다. 시뮬레이션은 시각에는 잘 작동하지만 소리는 복잡한 파동 역학과 재료 상호작용에 의존하므로, 물리 기반 오디오 시뮬레이션은 대규모 로봇 학습에 쓰기에는 너무 비싸다. 그 결과 sim-to-real 전이는 주로 시각 기반 작업에서 성공을 거두었다.

제안 방법

MultiGen은 물리 시뮬레이터와 함께 생성 모델을 실행한다. RoboVerse가 도메인 무작위화 하에서 동작 계획된 따르기 궤적을 생성하고, EPIC-Kitchens와 YouTube 크롤링에서 얻은 실제 따르기 클립 1,031개로 미세조정한 MMAudio 비디오-오디오 변환 모델이 받는 용기를 향한 가상 카메라로부터 오디오를 생성한다. 시뮬레이션 영상과 자연 영상 사이의 격차를 메우기 위해 SAMv2 분할 마스크가 추가 조건으로 주입된다. 그런 다음 확산 정책을 이 합성 시청각 데이터로만 학습시켜 실제 로봇 팔에 제로샷으로 배포한다.

핵심 통찰

• 생성 모델은 시뮬레이터가 렌더링하는 것에 조건화되기만 하면, 시뮬레이터에 물리 모델이 없는 감각 스트림을 추가할 수 있다.
• 기성 MMAudio는 부적합했다. 학습 데이터에 따르기 소리가 적고 저주파 Foley 오디오가 많아, 선별된 실제 따르기 클립으로 미세조정이 필요했다.
• 오디오 모델을 RGB 프레임뿐 아니라 SAMv2 분할 마스크에도 조건화하면 시뮬레이션과 실제 영상 사이의 시각적 격차에 더 강건해진다.
• 받는 용기 앞에 둔 전용 가상 카메라는 작업 카메라가 가려질 때도 오디오 모델의 입력을 실제 환경 미세조정 영상과 같은 분포 안에 유지한다.
• 오디오는 시각이 가장 약한 곳에서 가장 도움이 된다. 불투명 용기 작업이 투명 용기 작업보다 더 큰 향상을 얻었다.

주요 결과

• 실제 로봇의 감각 데이터나 행동 데이터를 학습에 전혀 사용하지 않고, 평균 NMAE 0.46으로 실제 환경 제로샷 따르기를 수행했다.
• 생성된 오디오를 추가하자 시각 전용 확산 정책에 비해 NMAE가 평균 23.3% 감소했다.
• 불투명 용기 작업에서는 평균 29.4%, 투명 용기 작업에서는 16.2%의 NMAE 감소가 나타났다.
• 시각+오디오 정책은 여덟 가지 테스트 조건(불투명 4개, 투명 4개) 모두에서 시각 전용보다 NMAE가 낮았으며, 각 조건은 12회의 제로샷 시행으로 평가되었다.
• 실제 시연 10개(각 1,000개 샘플)에 MANIWAV 방식의 노이즈 증강을 적용한 것과 비교하여, MultiGen 오디오는 더 다양하고(로그 스펙트럼 거리) 더 충실했으며(신호 대 왜곡비), 이를 학습한 정책은 데이터셋 크기에 따라 더 잘 확장되었다.

한계

• 시뮬레이션 장면과 실제 장면 사이의 대략적인 정렬(카메라 배치, 올바른 로봇 형태)이 필요하며, 이는 여전히 어느 정도의 수동 설정을 요구한다(저자).
• 극단적인 용기 형상에 대한 일반화가 제한적이다. 크거나 불규칙한 용기는 출렁임(sloshing)과 같은 모델링되지 않은 동역학을 일으킨다(저자).
• 정책은 어수선한 장면에서 충돌 회피를 다루지 못한다. 장애물을 고려한 계획이나 추가적인 인식이 필요할 것이다(저자).
• 따르기라는 단일 작업에서만 시연되었으며, 생성된 모달리티는 오디오뿐이다.
• 시뮬레이션 궤적은 학습되거나 사람이 안내한 시연이 아니라, 네 가지 이산적인 따르기 양을 가진 스크립트 기반 동작 계획기에서 나온다.

분야에 미친 영향

CoRL 2025 Best Paper / Best Student Paper 상 최종 후보이며, 현재까지 피인용 10회이다. 라이선스가 부여된 arXiv 버전(v1, 제목 MultiGen)은 코드, 데이터 또는 프로젝트 페이지를 링크하지 않는다.

초록

로봇은 실제 세계에서 효과적으로 행동하기 위해 여러 감각 모달리티를 통합해야 한다. 그러나 이러한 다중 모달 정책을 대규모로 학습하는 것은 여전히 어렵다. 시뮬레이션은 실행 가능한 해결책을 제공하지만, 시각은 고충실도 시뮬레이터의 혜택을 받아 온 반면 다른 모달리티(예: 소리)는 시뮬레이션하기가 악명 높게 어려울 수 있다. 그 결과 sim-to-real 전이는 주로 시각 기반 작업에서 성공을 거두었으며, 다중 모달 전이는 여전히 대체로 실현되지 않았다. 본 연구에서 우리는 대규모 생성 모델을 전통적인 물리 시뮬레이터에 통합하여 다감각 시뮬레이션을 가능하게 하는 프레임워크인 MultiGen을 도입함으로써 이러한 과제에 대응한다. 우리는 본질적으로 다중 모달 피드백에 의존하는 동적 작업인 로봇 따르기(pouring)에서 프레임워크를 선보인다. 시뮬레이션 영상에 조건화된 사실적인 오디오를 합성함으로써, 우리의 방법은 실제 로봇 데이터 없이 풍부한 시청각 궤적으로 학습할 수 있게 한다. 우리는 새로운 용기와 액체를 사용한 실제 따르기 작업으로의 효과적인 제로샷 전이를 시연하여, 생성 모델링이 모델링하기 어려운 모달리티를 시뮬레이션하고 다중 모달 sim-to-real 격차를 좁힐 수 있는 잠재력을 보여 준다.

링크

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1