The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Auteurs: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

MultiGen associe un simulateur physique à un modèle vidéo-vers-audio affiné pour créer des données audiovisuelles de versement, entraînant des politiques qui versent de vrais liquides en zero-shot sans aucune donnée de robot réel.

Pourquoi c'est important

Il montre une manière d'entraîner des robots sur des sens que les simulateurs modélisent mal : apprendre le signal à partir de vidéos réelles au lieu de simuler sa physique. Pour le versement, où le liquide est masqué ou le récipient transparent, l'audio généré améliore la précision en conditions réelles sans collecter la moindre démonstration robotique.

Problème

Les politiques robotiques multimodales nécessitent des données synchronisées de vidéo, d'audio, de toucher et d'action, dont la collecte à grande échelle exige un étalonnage précis, du matériel coûteux et de la main-d'œuvre. La simulation fonctionne bien pour la vision, mais le son dépend d'une dynamique ondulatoire complexe et d'interactions entre matériaux, si bien que la simulation audio fondée sur la physique est trop coûteuse pour l'apprentissage robotique à grande échelle. En conséquence, le transfert sim-to-real a surtout réussi dans des tâches fondées sur la vision.

Solution proposée

MultiGen exécute un modèle génératif aux côtés d'un simulateur physique : RoboVerse produit des trajectoires de versement planifiées sous randomisation de domaine, et le modèle vidéo-vers-audio MMAudio, affiné sur 1 031 clips réels de versement issus d'EPIC-Kitchens et d'une collecte sur YouTube, génère l'audio depuis une caméra virtuelle orientée vers le récipient receveur. Des masques de segmentation SAMv2 sont injectés comme conditionnement supplémentaire pour combler l'écart entre vidéo simulée et vidéo naturelle. Une politique de diffusion est ensuite entraînée uniquement sur ces données audiovisuelles synthétiques et déployée en zero-shot sur un bras réel.

Idées clés

• Un modèle génératif peut ajouter un flux sensoriel pour lequel le simulateur n'a aucun modèle physique, à condition d'être conditionné sur ce que le simulateur rend.
• MMAudio tel quel était inadapté : ses données d'entraînement contiennent peu de sons de versement et beaucoup d'audio Foley basse fréquence, si bien qu'un affinage sur des clips réels de versement sélectionnés a été nécessaire.
• Conditionner le modèle audio sur des masques de segmentation SAMv2 en plus des images RGB le rend plus robuste à l'écart visuel entre la simulation et la vidéo réelle.
• Une caméra virtuelle dédiée placée devant le récipient receveur maintient l'entrée du modèle audio dans la distribution de ses vidéos d'affinage réelles, même lorsque les caméras de la tâche sont masquées.
• L'audio aide surtout là où la vision est la plus faible : les tâches avec des récipients opaques ont davantage progressé que celles avec des récipients transparents.

Principaux résultats

• Versement zero-shot en conditions réelles avec une NMAE moyenne de 0,46, sans aucune donnée sensorielle ou d'action de robot réel utilisée à l'entraînement.
• L'ajout de l'audio généré a réduit la NMAE de 23,3 % en moyenne par rapport à la politique de diffusion fondée sur la vision seule.
• Les tâches avec récipient opaque ont vu une réduction moyenne de la NMAE de 29,4 %, celles avec récipient transparent de 16,2 %.
• La politique vision plus audio a obtenu une NMAE inférieure à celle de la vision seule dans les huit conditions de test (quatre opaques, quatre transparentes), chacune sur 12 essais zero-shot.
• Par rapport à une augmentation par bruit de type MANIWAV appliquée à 10 démonstrations réelles (1 000 échantillons chacune), l'audio de MultiGen était plus diversifié (distance log-spectrale) et plus fidèle (rapport signal sur distorsion), et les politiques entraînées dessus ont mieux passé à l'échelle avec la taille du jeu de données.

Limites

• Nécessite un alignement approximatif entre scènes simulées et réelles (placement des caméras, incarnation correcte du robot), ce qui demande encore une certaine configuration manuelle (auteurs).
• Généralisation limitée aux géométries de récipient extrêmes ; les récipients grands ou irréguliers provoquent une dynamique non modélisée comme le ballottement (auteurs).
• Les politiques ne gèrent pas l'évitement de collisions dans des scènes encombrées ; une planification tenant compte des obstacles ou une perception supplémentaire serait nécessaire (auteurs).
• Démontré sur une seule tâche, le versement, avec l'audio comme unique modalité générée.
• Les trajectoires simulées proviennent d'un planificateur de mouvement scripté avec quatre quantités de versement discrètes, et non de démonstrations apprises ou guidées par un humain.

Impact sur le domaine

Finaliste des prix CoRL 2025 Best Paper / Best Student Paper, avec 10 citations à ce jour. La version arXiv sous licence (v1, intitulée MultiGen) ne renvoie vers aucun code, aucune donnée ni page de projet.

Résumé

Les robots doivent intégrer plusieurs modalités sensorielles pour agir efficacement dans le monde réel. Pourtant, l'apprentissage de telles politiques multimodales à grande échelle reste difficile. La simulation offre une solution viable, mais si la vision a bénéficié de simulateurs haute fidélité, d'autres modalités (par ex. le son) peuvent être notoirement difficiles à simuler. En conséquence, le transfert sim-to-real a surtout réussi dans des tâches fondées sur la vision, le transfert multimodal restant encore largement à concrétiser. Dans ce travail, nous relevons ces défis en introduisant MultiGen, un cadre qui intègre de grands modèles génératifs dans des simulateurs physiques traditionnels, permettant une simulation multisensorielle. Nous illustrons notre cadre sur la tâche dynamique du versement robotique, qui repose intrinsèquement sur une rétroaction multimodale. En synthétisant un audio réaliste conditionné sur la vidéo de simulation, notre méthode permet l'entraînement sur de riches trajectoires audiovisuelles – sans aucune donnée de robot réel. Nous démontrons un transfert zero-shot efficace vers le versement en conditions réelles avec de nouveaux récipients et liquides, soulignant le potentiel de la modélisation générative à la fois pour simuler des modalités difficiles à modéliser et pour combler l'écart sim-to-real multimodal.

Liens

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1