The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Autores: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

MultiGen combina un simulador físico con un modelo de vídeo a audio ajustado para crear datos audiovisuales de vertido, con los que entrena políticas que vierten líquidos reales zero-shot sin datos de robot real.

Por qué importa

Muestra una forma de entrenar robots con sentidos que los simuladores no pueden modelar bien: aprender la señal a partir de vídeo del mundo real en lugar de simular su física. En el vertido, donde el líquido queda oculto o el recipiente es transparente, el audio generado mejora la precisión en el mundo real sin recopilar ninguna demostración robótica.

Problema

Las políticas robóticas multimodales necesitan datos sincronizados de vídeo, audio, tacto y acción, cuya recopilación a escala exige calibración precisa, hardware caro y mano de obra. La simulación funciona bien para la visión, pero el sonido depende de una dinámica de ondas compleja y de interacciones entre materiales, por lo que la simulación de audio basada en física es demasiado cara para el aprendizaje robótico a gran escala. Como resultado, la transferencia sim-to-real ha tenido éxito sobre todo en tareas basadas en visión.

Solución propuesta

MultiGen ejecuta un modelo generativo junto a un simulador físico: RoboVerse produce trayectorias de vertido con planificación de movimiento bajo aleatorización de dominio, y el modelo de vídeo a audio MMAudio, ajustado con 1031 clips reales de vertido de EPIC-Kitchens y de un rastreo de YouTube, genera audio desde una cámara virtual orientada al recipiente receptor. Se inyectan máscaras de segmentación de SAMv2 como condicionamiento adicional para salvar la diferencia entre el vídeo simulado y el natural. Después se entrena una política de difusión solo con estos datos audiovisuales sintéticos y se despliega zero-shot en un brazo real.

Ideas clave

• Un modelo generativo puede añadir un flujo sensorial para el que el simulador no tiene modelo físico, siempre que esté condicionado por lo que el simulador renderiza.
• MMAudio tal cual no bastaba: sus datos de entrenamiento contienen pocos sonidos de vertido y mucho audio Foley de baja frecuencia, por lo que fue necesario ajustarlo con clips reales de vertido seleccionados.
• Condicionar el modelo de audio con máscaras de segmentación de SAMv2 además de fotogramas RGB lo hace más robusto frente a la diferencia visual entre la simulación y el vídeo real.
• Una cámara virtual dedicada delante del recipiente receptor mantiene la entrada del modelo de audio dentro de la distribución de sus vídeos reales de ajuste, incluso cuando las cámaras de la tarea están tapadas.
• El audio ayuda más donde la visión es más débil: las tareas con recipientes opacos ganaron más que las de recipientes transparentes.

Resultados principales

• Vertido zero-shot en el mundo real con un NMAE medio de 0,46, sin usar en el entrenamiento ningún dato sensorial ni de acción de robot real.
• Añadir audio generado redujo el NMAE un 23,3 % de media frente a la política de difusión solo con visión.
• Las tareas con recipientes opacos registraron una reducción media del NMAE del 29,4 %, y las de recipientes transparentes, del 16,2 %.
• La política de visión más audio tuvo un NMAE menor que la de solo visión en las ocho condiciones de prueba (cuatro opacas, cuatro transparentes), cada una con 12 ensayos zero-shot.
• Frente al aumento de datos con ruido al estilo MANIWAV de 10 demostraciones reales (1000 muestras cada una), el audio de MultiGen fue más diverso (distancia log-espectral) y más fiel (relación señal-distorsión), y las políticas entrenadas con él escalaron mejor con el tamaño del conjunto de datos.

Limitaciones

• Necesita una alineación aproximada entre las escenas simuladas y las reales (colocación de la cámara, encarnación correcta del robot), lo que aún requiere cierta configuración manual (autores).
• Generalización limitada a geometrías de recipientes extremas; los recipientes grandes o irregulares provocan dinámicas no modeladas, como el chapoteo (autores).
• Las políticas no gestionan la evitación de colisiones en escenas abarrotadas; harían falta una planificación consciente de los obstáculos o percepción adicional (autores).
• Demostrado en una sola tarea, el vertido, con el audio como única modalidad generada.
• Las trayectorias simuladas proceden de un planificador de movimiento programado con cuatro cantidades de vertido discretas, no de demostraciones aprendidas o guiadas por humanos.

Impacto en el campo

Finalista de los premios CoRL 2025 Best Paper / Best Student Paper, con 10 citas hasta ahora. La versión con licencia de arXiv (v1, titulada MultiGen) no enlaza código, datos ni una página del proyecto.

Resumen

Los robots deben integrar múltiples modalidades sensoriales para actuar con eficacia en el mundo real. Sin embargo, aprender este tipo de políticas multimodales a gran escala sigue siendo difícil. La simulación ofrece una solución viable, pero mientras que la visión se ha beneficiado de simuladores de alta fidelidad, otras modalidades (p. ej., el sonido) pueden ser notoriamente difíciles de simular. Como resultado, la transferencia sim-to-real ha tenido éxito principalmente en tareas basadas en visión, y la transferencia multimodal sigue en gran medida sin lograrse. En este trabajo abordamos estos retos presentando MultiGen, un marco que integra modelos generativos a gran escala en simuladores físicos tradicionales, lo que permite una simulación multisensorial. Mostramos nuestro marco en la tarea dinámica del vertido robótico, que depende intrínsecamente de la retroalimentación multimodal. Al sintetizar audio realista condicionado por el vídeo de la simulación, nuestro método permite entrenar con trayectorias audiovisuales ricas, sin ningún dato de robot real. Demostramos una transferencia zero-shot eficaz al vertido en el mundo real con recipientes y líquidos nuevos, lo que pone de relieve el potencial del modelado generativo tanto para simular modalidades difíciles de modelar como para cerrar la brecha sim-to-real multimodal.

Enlaces

• arXiv 2507.02864: https://arxiv.org/abs/2507.02864
• PDF: https://arxiv.org/pdf/2507.02864v1