CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

Autores: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Ajustar um modelo de texto para imagem com as pinceladas simuladas de um robô pintor ensina a ele o que o robô consegue pintar e como estender o trabalho humano, reduzindo a lacuna sim-to-real semântica de 0,241 para 0,035.

Por que importa

Grandes modelos de imagem pré-treinados não sabem nada sobre as ferramentas de um robô específico, o que limita de modo geral seu uso para planejamento físico. O artigo mostra que o ajuste fino com a saída simulada do próprio robô codifica essas restrições, e o código aberto está disponível para as plataformas robóticas XArm, Franka Emika e Rethink Sawyer.

Problema

O FRIDA, um sistema anterior de pintura robótica, permite que os usuários contribuam apenas com um prompt ou uma imagem inicial, e seu planejamento guiado por CLIP produz pinturas ruidosas que correspondem ao texto apenas de forma vaga. Modelos pré-treinados de texto para imagem geram imagens mais claras, mas não conhecem os limites de pincel, cor e pinceladas do robô e, quando solicitados a editar uma tela, muitas vezes fazem grandes alterações que sobrescrevem o trabalho já existente da pessoa.

Solução proposta

O CoFRIDA usa o simulador do FRIDA para pintar imagens do subconjunto de arte do LAION e depois remove pinceladas (todas, um subconjunto aleatório, uma região saliente ou uma região semântica) para criar pares de pintura parcial e completa, descartando os pares cuja pintura simulada tem CLIPScore abaixo de 0,5 em relação à sua legenda. O Instruct-Pix2Pix é ajustado com uma taxa de aprendizado baixa para prever a pintura completa a partir da parcial e do texto; em execução, ele propõe como a tela deveria ficar, o FRIDA planeja as pinceladas para chegar lá, e a pessoa e o robô se revezam até que o usuário fique satisfeito.

Principais ideias

Copintar é diferente de inpainting: a edição deve preservar a tela inteira e interagir com ela, em vez de reimaginar uma região local marcada pelo usuário.
Além da lacuna sim-to-real no nível de pixel, existe uma semântica: uma imagem que o robô não consegue reproduzir perde sentido ao ser pintada, medida aqui como a distância cosseno entre os embeddings CLIP da imagem gerada e de sua pintura simulada.
Após o ajuste fino, o modelo se adapta a cada configuração: conteúdo destacado com um pincel grande, poucas cores com uma paleta fixa ou um marcador, desenhos esparsos sob um limite de pinceladas.
Planejar a semântica no espaço de pixels com um modelo pré-treinado e depois passar o resultado a um planejador de pinceladas de baixo nível evita a saída ruidosa de otimizar as pinceladas diretamente contra um objetivo textual.

Principais resultados

Em 40 casos de copintura por método (desenhos com Sharpie iniciados a partir de 35 pinceladas simuladas), a lacuna semântica ∆sem caiu de 0,241 sem ajuste fino para 0,035 com ele, e a lacuna de pixel ∆pix de 0,195 para 0,052.
O CLIPScore foi de 0,741 para o FRIDA, 0,624 para o CoFRIDA e 0,595 sem ajuste fino (BLIPScore 0,192, 0,178, 0,162); o FRIDA otimiza o CLIPScore diretamente, por isso os autores consideram que essas pontuações o favorecem.
Em uma pesquisa no MTurk com 24 participantes (4 avaliações por par de imagens, 160 comparações por linha de base), o CoFRIDA foi em geral escolhido como correspondendo à legenda com mais clareza que o FRIDA e que o CoFRIDA sem ajuste fino, embora muitos participantes tenham achado que nenhuma das imagens se encaixava.
Nos dados de ajuste fino do LAION, ∆pix teve uma correlação não significativa com o CLIPScore (Pearson −0.08, p = 0.08), enquanto ∆sem teve uma correlação negativa significativa (−0.48, p = 2.4e−31), o que os autores interpretam como o modelo aprendendo as capacidades do robô e não uma transferência de estilo.
Pinturas reais com acrílicas e com um Sharpie interagiram com conteúdo humano fora dos dados de ajuste fino, incluindo aquarela, embora o ajuste fino tenha usado um único meio.

Limitações

Limitado a uma interação por turnos discretos entre pessoa e robô.
As pinturas parciais para treinamento são criadas por remoção de pinceladas projetada à mão; uma abordagem de ponta a ponta que aprenda a formá-las poderia funcionar melhor.
Sujeito aos vieses do Stable Diffusion e de seus dados de treinamento, por isso os autores recomendam uso apenas em pesquisa; depois que conteúdo nocivo foi relatado no LAION, eles mudaram o código para o COCO sem observar queda de qualidade.
As lacunas sim-to-real são medidas em relação à simulação do FRIDA e não a pinturas reais, porque gerar muitas amostras reais era inviável.
O robô só consegue usar uma configuração de pintura (acrílica de 12 cores, acrílica fixa de 4 cores ou Sharpie preto) por vez.

Impacto na área

Vencedor do IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction, com 32 citações. O código é liberado como código aberto no repositório do FRIDA e está disponível para as plataformas robóticas XArm, Franka Emika e Rethink Sawyer.

Resumo

Trabalhos anteriores de pintura e desenho com robôs, como o FRIDA, concentraram-se em reduzir a lacuna sim-to-real e ampliar as modalidades de entrada para os usuários, mas a interação com esses sistemas geralmente existe apenas nas etapas de entrada. Para apoiar a pintura colaborativa interativa entre humanos e robôs, apresentamos o framework de pintura robótica Collaborative FRIDA (CoFRIDA), que consegue copintar modificando e interagindo com o conteúdo já pintado por um colaborador humano. Para melhorar o alinhamento texto-imagem — a principal fraqueza do FRIDA —, nosso sistema usa modelos pré-treinados de texto para imagem; no entanto, modelos pré-treinados não têm bom desempenho no contexto da copintura no mundo real porque (1) não entendem as restrições e as capacidades do robô e (2) não conseguem copintar sem fazer edições irrealistas na tela e sobrescrever conteúdo. Propomos um procedimento de ajuste fino autossupervisionado capaz de resolver os dois problemas, permitindo usar com robôs modelos pré-treinados de alinhamento texto-imagem de estado da arte para viabilizar a copintura no mundo físico. Nossa abordagem de código aberto, o CoFRIDA, cria pinturas e desenhos que correspondem ao prompt de texto de entrada com mais clareza que o FRIDA, tanto a partir de uma tela em branco quanto de uma com trabalho criado por uma pessoa. De modo mais geral, nosso procedimento de ajuste fino codifica com sucesso as restrições e as capacidades do robô em um modelo fundacional, mostrando resultados promissores como método eficaz para reduzir lacunas sim-to-real.

Open Source Robotics