FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

저자: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

자신이 실제로 그린 붓질로 구축한 미분 가능 시뮬레이터에서 붓질을 계획하고, 카메라 이미지로 다시 계획하여 텍스트, 이미지 또는 스케치 목표를 달성하는 로봇 화가.

중요한 이유

이 시스템은 사전 학습된 비전 모델에 의한 내용 생성을 물리적 로봇 팔의 행동 계획과 결합하며, 완벽한 실행을 가정하는 대신 실제 물감과 붓이 어떻게 작용하는지에 적응한다. 시뮬레이터가 로봇 자신의 소수의 붓질에 맞춰지므로 붓이나 재료가 바뀌면 다시 보정할 수 있으며, 저자들은 Sawyer와 형태가 비슷한 ROS 호환 로봇 팔이라면 최소한의 인터페이스 변경으로 적용할 수 있다고 밝힌다.

문제

회화는 고수준의 의미적 목표를 가진 동적 과정이지만, 대부분의 로봇 회화 시스템은 이를 인쇄처럼 다룬다. 전체 붓질 계획을 미리 만들고 보지 않은 채 실행한다. 학습 기반 회화 시스템은 sim2real 격차가 큰 시뮬레이터에서 계획하므로, 그 붓질 계획은 질이 낮은 그림을 낳거나 실제 로봇에서 실행할 수 없다.

제안 방법

보정 중에 로봇은 무작위 붓질을 그리고, 작은 네트워크(param2stroke)가 세 가지 붓질 형태 파라미터(두께, 굽음, 길이)를 붓질의 외관으로 매핑하도록 학습한다. 미분 가능한 배치와 캔버스 위 스탬핑과 결합하면 이것이 완전히 미분 가능한 회화 시뮬레이터가 된다. 붓질 계획은 CLIP 텍스트, VGG 스타일, 픽셀 또는 CLIP 특징 손실에 대해 경사 하강법으로 최적화되며, 실행된 붓질 묶음마다 실제 캔버스의 카메라 이미지를 사용해 남은 계획을 다시 최적화한다.

핵심 통찰

• 로봇이 실제로 그린 붓질에 붓질 모델을 맞추면(real2sim2real), 이전 학습 기반 화가 로봇의 제약 없는 붓질 모델이나 수작업으로 제약한 붓질 모델보다 sim2real 격차가 작아진다.
• 완전히 미분 가능한 렌더링 파이프라인 덕분에 CLIP과 VGG 같은 사전 학습 네트워크의 손실이 경사 하강법을 통해 붓질 파라미터를 직접 구동할 수 있다.
• 붓질 묶음을 실행할 때마다 카메라 이미지로 남은 계획을 다시 최적화하면 계획이 확률적 실행에 적응할 수 있다. 재계획이 없으면 초기 계획과의 편차가 붓질마다 선형적으로 커진다.
• 크라우드 설문에서 CLIP 합성곱 특징에 대한 의미 복제 손실이 픽셀 L2 손실보다 목표 내용을 더 잘 담아냈다.
• 밝은 색에서 어두운 색 순서로 붓질하면 붓 세척 시간이 줄고, 붓이 젖은 어두운 물감을 밝은 영역으로 끌고 가는 일을 막는다.

주요 결과

• 50개 샘플에 대한 모델링된 붓질과 실제 붓질 사이의 평균 L1 거리: param2stroke는 0.012(학습 붓질)와 0.018(테스트 붓질), DiffVG는 0.028과 0.028이었다. 차이는 p < .01에서 유의하다.
• 초상화에서 시뮬레이션 계획과 실제 그림 사이의 MSE로 측정한 Sim2real 격차: FRIDA 0.029, Schaldenbrand & Oh 2021은 0.066, Huang et al. 2019는 0.156.
• Amazon Mechanical Turk 참가자 103명을 대상으로 한 설문에서 73.3%(복제 질문)와 68.3%(고수준 내용 질문)가 Semantic Replication Objective로 그린 그림을 선호했으며, 둘 다 p = 0.01에서 50%보다 유의하게 높다.
• 보정 붓질을 더 많이 사용할수록 붓질 모델 오차가 꾸준히 줄어들며, 학습/검증 붓질이 약 100개를 넘으면 향상이 작다(보류한 붓질 42개로 테스트).
• 실제 로봇에서 시연한 과제에는 예시 이미지의 스타일로 언어 설명에 따라 그리기, 목표 이미지를 개념적으로 그리기, 사용자 스케치로부터 그리기가 포함된다.

한계

• 회화 모델은 단순화되어 있다. 색상 선택지가 이산적이고, 붓질은 서로 독립이라고 가정하며, 물감의 젖음 정도나 붓에 묻은 물감의 양을 모델링하지 않고, 붓은 캔버스에 수직으로 고정된다.
• 시스템의 동적 창작 과정 개념은 그것이 참고하는 개념보다 훨씬 더 제한적이다. 아직 새로운 스타일을 탐색하거나 창조하지 않는다.
• 자동 물감 혼합이 없다. 사람이 이산 팔레트를 섞어서 공급하며, 캔버스, 물감, 물, 걸레의 위치는 명시적으로 프로그래밍된다.
• 붓에 묻은 물감의 양은 모델링되지 않은 가장 큰 변수이며, 붓질 모델에 잡음을 더한다.
• 젖은 물감의 반사를 피하려면 간접적이고 확산된 조명이 필요하며, 보정에는 사람이 캔버스 모서리를 표시하고 붓의 가장 가벼운 터치와 가장 강한 터치를 설정해야 한다.

분야에 미친 영향

ICRA 2023 Outstanding Deployed Systems Paper 상 최종 후보에 올랐으며, 인용 수는 56회다. FRIDA 소프트웨어 스택 전체가 오픈소스로 공개되어 있다.

초록

회화는 시각적 내용을 표현하는 예술적 과정으로, 창작 과정 내내 동적으로 바뀔 수 있는 예술가의 고수준 소통 목표를 달성한다. 이 논문에서 우리는 언어 설명이나 이미지 같은 간단한 입력을 사용해 사람이 화가 로봇과 협업하여 캔버스에 그림을 그릴 수 있게 하는 Framework and Robotics Initiative for Developing Arts(FRIDA)를 제시한다. FRIDA는 창작적 회화 과정을 계산적으로 모델링하기 위한 여러 기술적 혁신을 도입한다. 첫째, 우리는 실제에서 시뮬레이션을 거쳐 다시 실제로(real2sim2real)라는 아이디어를 채택하여 완전히 미분 가능한 회화 시뮬레이션 환경을 개발한다. 우리가 제안한 시뮬레이션 회화 환경이 로봇 회화에 사용되는 기존 시뮬레이션 환경보다 현실에 대한 충실도가 높음을 보인다. 둘째, 창작 과정의 변화하는 역학을 모델링하기 위해, 변화하는 캔버스를 바탕으로 고수준 목표에 비추어 회화 계획을 지속적으로 최적화할 수 있는 계획 접근법을 개발한다. 내용 생성 과정과 행동 계획이 독립적이고 순차적으로 수행되는 기존 접근법과 달리, FRIDA는 회화 진행 상황에 대한 시각적 인식을 바탕으로 의미적 목표를 계속 재계획하고 재평가함으로써 물감과 붓 사용의 확률적 특성에 적응한다. 우리는 기술적 접근법과 시스템 통합의 세부 사항을 기술한다. FRIDA 소프트웨어는 https://pschaldenbrand.github.io/frida/ 에서 무료로 제공된다.

링크

• arXiv 2210.00664: https://arxiv.org/abs/2210.00664
• DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
• PDF: https://arxiv.org/pdf/2210.00664v1
• 코드: https://github.com/pschaldenbrand/Frida
• 프로젝트 페이지: https://pschaldenbrand.github.io/frida/