FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

Autores: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um robô pintor que planeja pinceladas em um simulador diferenciável construído a partir de suas próprias pinceladas reais e depois replaneja a partir de imagens de câmera para atingir objetivos de texto, imagem ou esboço.

Por que importa

O sistema une a geração de conteúdo por modelos de visão pré-treinados ao planejamento de ações para um braço físico e se adapta ao comportamento real da tinta e dos pincéis, em vez de pressupor uma execução perfeita. Como o simulador é ajustado a um pequeno conjunto de pinceladas do próprio robô, ele pode ser recalibrado quando o pincel ou os materiais mudam, e os autores afirmam que qualquer braço compatível com ROS com morfologia semelhante à do Sawyer poderia ser adaptado com mudanças mínimas na interface.

Problema

A pintura é um processo dinâmico com objetivos semânticos de alto nível, mas a maioria dos sistemas de pintura robótica a trata como impressão: um plano completo de pinceladas é feito com antecedência e executado às cegas. Sistemas de pintura baseados em aprendizado planejam em simuladores com uma grande lacuna sim2real, de modo que seus planos de pinceladas geram pinturas ruins ou não podem ser executados em um robô real.

Solução proposta

Durante a calibração, o robô pinta pinceladas aleatórias, e uma pequena rede (param2stroke) aprende a mapear três parâmetros de forma da pincelada (espessura, curvatura, comprimento) para a aparência da pincelada; com posicionamento e estampagem diferenciáveis na tela, isso forma um simulador de pintura totalmente diferenciável. Um plano de pinceladas é otimizado por descida de gradiente em relação a perdas de texto CLIP, estilo VGG, pixel ou características CLIP, e após cada lote de pinceladas executadas a imagem de câmera da tela real é usada para reotimizar o plano restante.

Principais ideias

Ajustar o modelo de pincelada às pinceladas que o robô realmente pintou (real2sim2real) gera uma lacuna sim2real menor do que os modelos de pincelada sem restrições ou restringidos manualmente de pintores anteriores baseados em aprendizado.
Um pipeline de renderização totalmente diferenciável permite que perdas de redes pré-treinadas como CLIP e VGG guiem diretamente os parâmetros das pinceladas por descida de gradiente.
Reotimizar o plano restante a partir de imagens de câmera após cada lote de pinceladas permite que o plano se adapte à execução estocástica; sem replanejamento, o desvio em relação ao plano inicial cresce linearmente pincelada a pincelada.
Uma perda de replicação semântica sobre características convolucionais do CLIP capturou o conteúdo-alvo melhor do que uma perda L2 por pixel em uma pesquisa de crowdsourcing.
Ordenar as pinceladas do claro para o escuro reduz o tempo de limpeza do pincel e impede que o pincel arraste tinta escura molhada para regiões claras.

Principais resultados

Distância L1 média entre pinceladas modeladas e reais em 50 amostras: 0,012 (pinceladas de treinamento) e 0,018 (pinceladas de teste) para o param2stroke contra 0,028 e 0,028 para o DiffVG; a diferença é significativa com p < .01.
Lacuna sim2real em um retrato, medida como MSE entre o plano simulado e a pintura real: 0,029 para o FRIDA contra 0,066 para Schaldenbrand & Oh 2021 e 0,156 para Huang et al. 2019.
Em uma pesquisa com 103 participantes do Amazon Mechanical Turk, 73,3 % (pergunta de replicação) e 68,3 % (pergunta de conteúdo de alto nível) preferiram as pinturas feitas com o Semantic Replication Objective; ambos estão significativamente acima de 50 % com p = 0.01.
O erro do modelo de pincelada cai de forma constante à medida que mais pinceladas de calibração são usadas, com ganhos pequenos após cerca de 100 pinceladas de treinamento/validação (testado em 42 pinceladas reservadas).
As tarefas demonstradas no robô real incluem pintar a partir de uma descrição em linguagem no estilo de uma imagem de exemplo, pintar conceitualmente uma imagem-alvo e pintar a partir de um esboço do usuário.

Limitações

O modelo de pintura é simplificado: opções de cor discretas, pinceladas assumidas como independentes, sem modelagem da umidade da tinta nem de quanta tinta há no pincel, e o pincel é mantido fixo perpendicular à tela.
A noção de processo criativo dinâmico do sistema é muito mais restrita do que aquela em que se baseia; ele ainda não explora nem cria novos estilos.
Não há mistura automática de tintas: uma pessoa mistura e fornece a paleta discreta, e as posições da tela, das tintas, da água e do pano são programadas explicitamente.
A quantidade de tinta no pincel é a maior variável não modelada e adiciona ruído ao modelo de pincelada.
A montagem precisa de iluminação indireta e difusa para evitar o brilho da tinta molhada, e a calibração exige que uma pessoa marque os cantos da tela e defina o toque mais leve e o mais forte do pincel.

Impacto na área

Finalista do prêmio ICRA 2023 Outstanding Deployed Systems Paper, com 56 citações. A pilha de software completa do FRIDA é disponibilizada como código aberto.

Resumo

A pintura é um processo artístico de representação de conteúdo visual que atinge os objetivos comunicativos de alto nível de um artista, os quais podem mudar dinamicamente ao longo do processo criativo. Neste artigo, apresentamos um Framework and Robotics Initiative for Developing Arts (FRIDA) que permite a pessoas produzir pinturas em telas colaborando com um robô pintor por meio de entradas simples, como descrições em linguagem ou imagens. O FRIDA introduz várias inovações técnicas para modelar computacionalmente um processo criativo de pintura. Primeiro, desenvolvemos um ambiente de simulação de pintura totalmente diferenciável, adotando a ideia de ir do real para a simulação e de volta ao real (real2sim2real). Mostramos que o ambiente de pintura simulado que propomos tem maior fidelidade à realidade do que os ambientes de simulação existentes usados para pintura robótica. Segundo, para modelar a dinâmica em evolução de um processo criativo, desenvolvemos uma abordagem de planejamento que pode otimizar continuamente o plano de pintura com base na tela em evolução, em relação aos objetivos de alto nível. Ao contrário das abordagens existentes, em que o processo de geração de conteúdo e o planejamento de ações são realizados de forma independente e sequencial, o FRIDA se adapta à natureza estocástica do uso de tinta e pincel, replanejando e reavaliando continuamente seus objetivos semânticos com base em sua percepção visual do progresso da pintura. Descrevemos os detalhes da abordagem técnica, bem como a integração do sistema. O software FRIDA está disponível gratuitamente em: https://pschaldenbrand.github.io/frida/.

Open Source Robotics