Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

Autores: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Microfones de contato piezoelétricos transformam o toque em áudio, de modo que um codificador pré-treinado com vídeos do AudioSet se transfere para a manipulação e supera políticas só de visão e de áudio treinadas do zero em três tarefas reais.

Por que importa

Microfones de contato são baratos em comparação com sensores táteis comuns e registram vibrações a 32–48 kHz, contra 30–400 Hz de sensores táteis ópticos e magnéticos. Como o sinal deles é áudio, uma equipe pode reaproveitar modelos audiovisuais existentes em escala de internet em vez de coletar grandes conjuntos de dados táteis, o que importa quando há apenas algumas dezenas de demonstrações disponíveis.

Problema

O pré-treinamento em larga escala é rotina para representações visuais no aprendizado de robôs, mas modalidades táteis e outras não visuais ainda são treinadas do zero porque não há dados em escala de internet para elas. No regime de poucos dados comum em robótica, com dezenas de demonstrações por tarefa, isso deixa o sensoriamento tátil subutilizado.

Solução proposta

Quatro microfones de contato piezoelétricos em uma garra Franka registram as vibrações de contato como áudio, tanto na garra quanto por meio de ferramentas seguradas, como uma colher ou uma espátula. O codificador de áudio é inicializado a partir do AVID, um modelo audiovisual autossupervisionado pré-treinado no AudioSet, e o codificador de imagem a partir do R3M (ResNet18 pré-treinada no Ego4D); ambos permanecem descongelados e são fundidos por um bloco de autoatenção em uma política de clonagem de comportamento que prevê uma sequência curta de ações delta 6-D do efetuador final.

Principais ideias

O áudio de contato de um robô é próximo o bastante do áudio da internet para que o pré-treinamento audiovisual no AudioSet se transfira apesar da diferença de domínio.
O que conta é a escala dos dados de pré-treinamento: o BYOL-A pré-treinado apenas com áudio de contato do próprio domínio teve desempenho comparável a um codificador de áudio inicializado aleatoriamente (melhor em virar, pior em servir com colher e fechar zíper).
As características de áudio pré-treinadas reduziram o sobreajuste a detalhes visuais: em virar, o sucesso da política só de visão caiu cerca de 60 % das configurações de treino para as de teste, e o da política audiovisual cerca de 20 %.
A fusão por autoatenção é necessária, mas não suficiente: substituir o transformador por um MLP reduziu o sucesso e a recompensa em quase 50 % em servir com colher, até o nível da linha de base treinada do zero.
Congelar o codificador de áudio AVID pré-treinado durante o aprendizado da política reduziu o desempenho apenas ligeiramente.

Principais resultados

Virar (40 demonstrações): 50,0 % de sucesso, contra 25,0 % do BYOL-A, 15,4 % de um codificador de áudio treinado do zero e 0,0 % da política só de visão.
Servir com colher (60 demonstrações): 78,1 % de sucesso, contra 50,0 % do zero, 28,1 % só visão e 25,0 % BYOL-A.
Fechar zíper (50 demonstrações): 88,9 % de sucesso, contra 72,2 % do zero, 66,7 % BYOL-A e 44,4 % só visão.
Em média, sucesso 0-1 23 % maior e recompensa 76 % maior que a segunda melhor linha de base; supera ou iguala todas as linhas de base em 8 de 9 configurações de tarefa.
Em servir com colher, o sucesso subiu de forma constante de 30 para 60 e para 90 demonstrações, aproximadamente no mesmo ritmo que a linha de base só de visão.
A política tem cerca de 20M parâmetros e é treinada em 1–1,5 hora em uma única GPU RTX 3080 Ti.

Limitações

Os autores observam que microfones de contato podem ser menos úteis em tarefas menos dinâmicas, como pegar e colocar.
Eles também podem ser menos úteis quando o próprio robô gera vibrações significativas.
Podem não ajudar com objetos deformáveis que não emitem vibrações perceptíveis ao contato.
A avaliação abrange três tarefas em um único braço robótico, com no máximo 60 demonstrações por tarefa (90 na ablação de escala).

Impacto na área

Finalista do ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation, com 31 citações. O artigo aponta para uma página do projeto com vídeos dos experimentos com o robô real; não traz link para o código.

Resumo

Embora o pré-treinamento com uma grande quantidade de dados seja benéfico para o aprendizado de robôs, os paradigmas atuais só realizam pré-treinamento em larga escala para representações visuais, enquanto as representações de outras modalidades são treinadas do zero. Ao contrário da abundância de dados visuais, não está claro quais dados relevantes em escala de internet poderiam ser usados para pré-treinar outras modalidades, como o sensoriamento tátil. Esse pré-treinamento se torna cada vez mais crucial nos regimes de poucos dados comuns em aplicações de robótica. Neste artigo, tratamos dessa lacuna usando microfones de contato como um sensor tátil alternativo. Nossa ideia principal é que microfones de contato capturam informações inerentemente baseadas em áudio, o que nos permite aproveitar o pré-treinamento audiovisual em larga escala para obter representações que melhoram o desempenho da manipulação robótica. Até onde sabemos, nosso método é a primeira abordagem a aproveitar o pré-treinamento multissensorial em larga escala para a manipulação robótica. Para informações suplementares, incluindo vídeos de experimentos com robôs reais, consulte https://sites.google.com/view/hearing-touch.

Open Source Robotics