The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Autores: Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Philipp Wu, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros · CoRL 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O MultiGen combina um simulador físico com um modelo de vídeo para áudio ajustado para criar dados audiovisuais de despejo, treinando políticas que despejam líquidos reais zero-shot sem dados de robô real.

Por que importa

Mostra um caminho para treinar robôs em sentidos que os simuladores não conseguem modelar bem: aprender o sinal a partir de vídeo do mundo real em vez de simular sua física. No despejo, em que o líquido fica oculto ou o recipiente é transparente, o áudio gerado melhora a precisão no mundo real sem coletar nenhuma demonstração com robô.

Problema

Políticas robóticas multimodais precisam de dados sincronizados de vídeo, áudio, tato e ação, cuja coleta em escala exige calibração precisa, hardware caro e mão de obra. A simulação funciona bem para a visão, mas o som depende de dinâmica de ondas complexa e de interações entre materiais, de modo que a simulação de áudio baseada em física é cara demais para o aprendizado robótico em grande escala. Como resultado, a transferência sim-to-real teve sucesso principalmente em tarefas baseadas em visão.

Solução proposta

O MultiGen executa um modelo generativo ao lado de um simulador físico: o RoboVerse produz trajetórias de despejo com planejamento de movimento sob randomização de domínio, e o modelo de vídeo para áudio MMAudio, ajustado com 1.031 clipes reais de despejo do EPIC-Kitchens e de uma coleta no YouTube, gera áudio a partir de uma câmera virtual voltada para o recipiente receptor. Máscaras de segmentação do SAMv2 são injetadas como condicionamento extra para reduzir a diferença entre vídeo simulado e natural. Em seguida, uma política de difusão é treinada apenas com esses dados audiovisuais sintéticos e implantada zero-shot em um braço real.

Principais ideias

Um modelo generativo pode acrescentar um fluxo sensorial para o qual o simulador não tem modelo físico, desde que seja condicionado ao que o simulador renderiza.
O MMAudio pronto para uso era inadequado: seus dados de treinamento contêm poucos sons de despejo e muito áudio Foley de baixa frequência, por isso foi necessário ajustá-lo com clipes reais de despejo selecionados.
Condicionar o modelo de áudio a máscaras de segmentação do SAMv2 além dos quadros RGB o torna mais robusto à diferença visual entre a simulação e o vídeo real.
Uma câmera virtual dedicada à frente do recipiente receptor mantém a entrada do modelo de áudio dentro da distribuição dos seus vídeos reais de ajuste, mesmo quando as câmeras da tarefa estão obstruídas.
O áudio ajuda mais onde a visão é mais fraca: tarefas com recipientes opacos ganharam mais do que as com recipientes transparentes.

Principais resultados

Despejo zero-shot no mundo real com NMAE médio de 0,46, sem usar no treinamento nenhum dado sensorial ou de ação de robô real.
Adicionar áudio gerado reduziu o NMAE em 23,3 % em média em comparação com a política de difusão só com visão.
As tarefas com recipientes opacos tiveram redução média de 29,4 % no NMAE, e as com recipientes transparentes, de 16,2 %.
A política de visão mais áudio teve NMAE menor que a de só visão em todas as oito condições de teste (quatro opacas, quatro transparentes), cada uma com 12 tentativas zero-shot.
Em comparação com o aumento de dados por ruído no estilo do MANIWAV aplicado a 10 demonstrações reais (1.000 amostras cada), o áudio do MultiGen foi mais diverso (distância log-espectral) e mais fiel (razão sinal-distorção), e as políticas treinadas com ele escalaram melhor com o tamanho do conjunto de dados.

Limitações

Exige um alinhamento aproximado entre as cenas simuladas e as reais (posicionamento da câmera, corporificação correta do robô), o que ainda requer alguma configuração manual (autores).
Generalização limitada a geometrias de recipientes extremas; recipientes grandes ou irregulares causam dinâmicas não modeladas, como o chacoalhar do líquido (autores).
As políticas não lidam com a evitação de colisões em cenas desordenadas; seriam necessários planejamento atento a obstáculos ou percepção adicional (autores).
Demonstrado em uma única tarefa, o despejo, com o áudio como única modalidade gerada.
As trajetórias simuladas vêm de um planejador de movimento roteirizado com quatro quantidades discretas de despejo, não de demonstrações aprendidas ou guiadas por humanos.

Impacto na área

Finalista dos prêmios CoRL 2025 Best Paper / Best Student Paper, com 10 citações até agora. A versão licenciada do arXiv (v1, intitulada MultiGen) não traz links para código, dados nem página do projeto.

Resumo

Robôs precisam integrar várias modalidades sensoriais para agir de forma eficaz no mundo real. No entanto, aprender essas políticas multimodais em grande escala continua sendo desafiador. A simulação oferece uma solução viável, mas, enquanto a visão se beneficiou de simuladores de alta fidelidade, outras modalidades (por exemplo, o som) podem ser notoriamente difíceis de simular. Como resultado, a transferência sim-to-real teve sucesso principalmente em tarefas baseadas em visão, e a transferência multimodal ainda está em grande parte por realizar. Neste trabalho, enfrentamos esses desafios apresentando o MultiGen, um framework que integra modelos generativos de grande escala a simuladores físicos tradicionais, permitindo simulação multissensorial. Demonstramos nosso framework na tarefa dinâmica de despejo robótico, que depende intrinsecamente de feedback multimodal. Ao sintetizar áudio realista condicionado ao vídeo da simulação, nosso método permite o treinamento em trajetórias audiovisuais ricas, sem nenhum dado de robô real. Demonstramos uma transferência zero-shot eficaz para o despejo no mundo real com recipientes e líquidos novos, destacando o potencial da modelagem generativa tanto para simular modalidades difíceis de modelar quanto para fechar a lacuna sim-to-real multimodal.

Open Source Robotics