GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

Autores: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O GenAug usa difusão de texto para imagem guiada por profundidade para repintar objetos, distratores e fundos em algumas demonstrações reais, de modo que uma política de pick-and-place do CLIPort funciona em cenas não vistas.

Por que importa

Uma política treinada com 10 demonstrações em um único ambiente simples pode depois ser usada em cenas reais diferentes sem coletar mais dados do robô. As máscaras dos objetos são necessárias apenas para as demonstrações, não no momento do teste.

Problema

O aprendizado de robôs precisa de conjuntos de dados grandes e diversos, mas a coleta no mundo real é cara e muitos conjuntos de dados robóticos vêm de uma única configuração com algumas horas de dados. Aumentos padrão como variação de cor, desfoque e recorte cobrem mudanças de aparência de baixo nível, mas não mudanças semânticas como novos distratores, fundos ou aparências de objetos.

Solução proposta

O GenAug recebe demonstrações RGBD com máscaras de objetos e uma pose de câmera calibrada e usa um modelo pré-treinado de difusão de texto para imagem guiado por profundidade para mudar as texturas dos objetos dentro de uma categoria, trocar categorias de objetos renderizando primeiro malhas do Google Scanned Objects e do Free3D, acrescentar distratores verificados contra colisões e repintar os fundos. Como as posições do objeto a pegar e do destino permanecem fixas, os rótulos de ação de pick-and-place originais continuam válidos; cada demonstração é aumentada 100 vezes e o resultado treina uma política do CLIPort.

Principais ideias

Ações de pick-and-place continuam válidas diante de grandes mudanças visuais desde que as posições aproximadas do objeto e do destino não mudem, então as imagens geradas podem reutilizar os rótulos de ação originais.
Renderizar as malhas dos objetos antes da geração guiada por profundidade mantém a consistência 3D das substituições entre categorias; o inpainting simples muitas vezes produziu imagens implausíveis (Apêndice A).
Os aumentos de copiar e colar e de fundo aleatório trazem robustez a ambientes novos, mas ficam abaixo do GenAug com objetos não vistos, o que os autores interpretam como evidência de que cenas fisicamente plausíveis e semanticamente significativas importam.
O sucesso aumenta à medida que o número de aumentos por demonstração cresce de 0 para 10, 50 e 100 (Figura 11).

Principais resultados

Mundo real, 10 tarefas com 10 demonstrações cada: 85 % de sucesso médio em ambientes não vistos, 52 % com objetos de destino não vistos e 45 % com objetos a pegar não vistos (Tabela I, 10 cenas por condição).
Comparação no mundo real com o CLIPort treinado sem GenAug (Tabela II, 5 cenas por condição): 80 % contra 38 % em ambientes não vistos, 54 % contra 8 % com objetos de destino não vistos e 46 % contra 10 % com objetos a pegar não vistos.
O resumo e a conclusão relatam uma melhoria de 40 % na generalização para cenas e objetos novos em relação ao treinamento sem GenAug.
Simulação, ambientes não vistos com 100 demonstrações (Tabela III): o GenAug obtém 77,6 (TransporterNet) e 71,9 (CLIPort), o GenAug com profundidade 91,2 e 73,4, contra 9,8 e 14,4 sem aumento.
O GenAug não é o melhor método em todas as células da Tabela III; por exemplo, Random Background obtém 79,1 contra 77,6 do GenAug em ambientes não vistos com TransporterNet e 100 demonstrações.

Limitações

O GenAug não aumenta os rótulos de ação nem raciocina sobre material, atrito ou deformação; supõe que a ação original continua funcionando e não colide com os objetos acrescentados (segundo os autores).
Não consegue garantir consistência visual entre os quadros de um vídeo (segundo os autores).
Aumentar uma cena leva cerca de 30 segundos, o que pode ser impraticável para métodos como RL on-policy (segundo os autores).
Ocorrem falhas quando o objeto e o fundo têm cores parecidas, quando um distrator é muito brilhante ou de cor semelhante, ou quando a mesa tem objetos demais.
As demonstrações precisam de máscaras de objetos rotuladas manualmente e de uma pose de câmera calibrada, além de uma biblioteca de malhas de objetos, e o método foi testado apenas em pick-and-place sobre mesa com garra de sucção.

Impacto na área

Finalista do prêmio de melhor artigo de sistemas do RSS 2023 (Best System Paper Award), com 165 citações. A página oficial do projeto, genaug.github.io, aponta para um repositório de código.

Resumo

Métodos de aprendizado de robôs têm potencial para ampla generalização entre tarefas, ambientes e objetos. No entanto, esses métodos exigem conjuntos de dados grandes e diversos, caros de coletar em cenários robóticos do mundo real. Para que o aprendizado de robôs generalize, precisamos ser capazes de aproveitar fontes de dados ou priors além da própria experiência do robô. Neste trabalho, propomos que modelos generativos de imagem e texto, pré-treinados em grandes corpora de dados coletados da web, podem servir como essa fonte de dados. Mostramos que, apesar de esses modelos generativos serem treinados com dados em grande parte não robóticos, eles podem ser formas eficazes de transmitir priors ao processo de aprendizado de robôs de modo a permitir ampla generalização. Em particular, mostramos como modelos generativos pré-treinados podem servir como ferramentas eficazes para aumento de dados semanticamente significativo. Aproveitando esses modelos pré-treinados para gerar aumentos de dados "semânticos" adequados, propomos um sistema, o GenAug, capaz de melhorar significativamente a generalização da política. Aplicamos o GenAug a tarefas de manipulação sobre mesa, mostrando a capacidade de redirecionar o comportamento para cenários novos, exigindo apenas quantidades marginais de dados do mundo real. Demonstramos a eficácia desse sistema em vários problemas de manipulação de objetos no mundo real, com uma melhoria de 40 % na generalização para cenas e objetos novos.

Open Source Robotics