CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

저자: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

페인팅 로봇의 시뮬레이션된 붓질로 텍스트-이미지 모델을 미세 조정하면, 로봇이 무엇을 그릴 수 있는지와 사람의 작업을 어떻게 이어 갈지를 학습해 의미적 sim-to-real 격차가 0.241에서 0.035로 줄어든다.

중요한 이유

대규모 사전 학습 이미지 모델은 특정 로봇의 도구에 대해 아무것도 알지 못하며, 이는 물리적 계획 전반에서 그 활용을 제한한다. 논문은 로봇 자신의 시뮬레이션 출력으로 미세 조정하면 그러한 제약이 인코딩됨을 보이며, 오픈 소스 코드는 XArm, Franka Emika, Rethink Sawyer 로봇 플랫폼용으로 제공된다.

문제

이전의 로봇 페인팅 시스템인 FRIDA는 사용자가 초기 프롬프트나 이미지만 제공하게 하며, CLIP 기반 계획은 텍스트와 느슨하게만 일치하는 노이즈가 많은 그림을 만든다. 사전 학습된 텍스트-이미지 모델은 더 선명한 이미지를 주지만, 로봇의 붓, 색, 붓질 제한을 알지 못하며, 캔버스 편집을 요청받으면 사람의 기존 작업을 덮어쓰는 큰 변경을 자주 만든다.

제안 방법

CoFRIDA는 FRIDA의 시뮬레이터를 사용해 LAION의 예술 하위 집합 이미지를 그린 다음, 붓질을 제거하여(전부, 무작위 일부, 두드러진 영역, 또는 의미 영역) 부분 회화와 완성 회화의 쌍을 만들고, 시뮬레이션 회화의 캡션 대비 CLIPScore가 0.5 미만인 쌍은 버린다. Instruct-Pix2Pix는 낮은 학습률로 미세 조정되어 부분 회화와 텍스트로부터 완성 회화를 예측한다. 실행 시에는 이 모델이 캔버스가 어떻게 보여야 할지를 제안하고, FRIDA가 그에 도달하기 위한 붓질을 계획하며, 사용자가 만족할 때까지 사람과 로봇이 번갈아 그린다.

핵심 통찰

• 공동 페인팅은 인페인팅과 다르다. 편집은 사용자가 표시한 국소 영역을 새로 상상하는 것이 아니라 캔버스 전체를 보존하고 그것과 상호작용해야 한다.
• 픽셀 수준의 sim-to-real 격차 외에 의미적 격차도 있다. 로봇이 표현할 수 없는 이미지는 그려졌을 때 의미를 잃으며, 여기서는 생성된 이미지와 그 시뮬레이션 회화 사이의 CLIP 임베딩 코사인 거리로 측정한다.
• 미세 조정 후 모델은 각 설정에 적응한다. 큰 붓에는 두드러진 내용을, 고정 팔레트나 마커에는 적은 색을, 붓질 수 제한에서는 성긴 드로잉을 만든다.
• 사전 학습 모델로 픽셀 공간에서 의미를 계획한 뒤 저수준 붓질 플래너에 넘기면, 텍스트 목표에 대해 붓질을 직접 최적화할 때의 노이즈가 많은 출력을 피할 수 있다.

주요 결과

• 방법당 40개의 공동 페인팅 사례(시뮬레이션된 붓질 35개에서 시작한 Sharpie 드로잉)에서 의미적 격차 ∆sem은 미세 조정 없이 0.241에서 미세 조정 후 0.035로, 픽셀 격차 ∆pix는 0.195에서 0.052로 줄었다.
• CLIPScore는 FRIDA 0.741, CoFRIDA 0.624, 미세 조정 없는 경우 0.595였다(BLIPScore 0.192, 0.178, 0.162). FRIDA는 CLIPScore를 직접 최적화하므로, 저자들은 이 점수가 FRIDA에 유리하다고 본다.
• 참가자 24명의 MTurk 설문(이미지 쌍당 평가 4개, 베이스라인당 비교 160개)에서 CoFRIDA는 대체로 FRIDA나 미세 조정 없는 CoFRIDA보다 캡션에 더 분명하게 부합한다고 선택되었지만, 많은 참가자는 어느 이미지도 맞지 않는다고 보았다.
• LAION 미세 조정 데이터 전체에서 ∆pix는 CLIPScore와 유의하지 않은 상관(Pearson −0.08, p = 0.08)을 보인 반면 ∆sem은 유의한 음의 상관(−0.48, p = 2.4e−31)을 보였으며, 저자들은 이를 모델이 스타일 전이가 아니라 로봇의 능력을 학습한 것으로 해석한다.
• 아크릴 물감과 Sharpie로 그린 실제 그림은 미세 조정이 단일 매체로만 이루어졌음에도 수채화를 포함해 미세 조정 데이터 밖의 사람 작업과 상호작용했다.

한계

• 사람과 로봇 사이의 이산적인 차례 주고받기 상호작용으로 제한된다.
• 학습용 부분 회화는 수작업으로 설계한 붓질 제거로 만든다. 이를 형성하는 방법을 학습하는 종단 간 접근법이 더 나을 수 있다.
• Stable Diffusion과 그 학습 데이터의 편향을 그대로 받으므로, 저자들은 연구 목적으로만 사용할 것을 권장한다. LAION에서 유해 콘텐츠가 보고된 뒤 코드를 COCO로 전환했으며 품질 저하는 보지 못했다.
• 많은 실제 샘플을 생성하는 것이 불가능했기 때문에, sim-to-real 격차는 실제 그림이 아니라 FRIDA의 시뮬레이션을 기준으로 측정된다.
• 로봇은 한 번에 하나의 페인팅 설정(12색 아크릴, 고정 4색 아크릴, 또는 검은색 Sharpie)만 사용할 수 있다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction 수상작이며 인용 수는 32회다. 코드는 FRIDA 저장소에서 오픈 소스로 공개되어 있으며 XArm, Franka Emika, Rethink Sawyer 로봇 플랫폼용으로 제공된다.

초록

FRIDA와 같은 기존의 로봇 페인팅 및 드로잉 연구는 sim-to-real 격차를 줄이고 사용자의 입력 양식을 넓히는 데 초점을 맞추었지만, 이러한 시스템과의 상호작용은 대체로 입력 단계에만 존재한다. 상호작용적인 인간-로봇 협업 페인팅을 지원하기 위해, 우리는 인간 협업자가 이미 그린 내용을 수정하고 그것과 상호작용하며 함께 그릴 수 있는 Collaborative FRIDA(CoFRIDA) 로봇 페인팅 프레임워크를 소개한다. FRIDA의 주요 약점인 텍스트-이미지 정렬을 개선하기 위해 우리 시스템은 사전 학습된 텍스트-이미지 모델을 사용한다. 그러나 실제 세계의 공동 페인팅 맥락에서 사전 학습된 모델은 잘 작동하지 않는데, 이는 (1) 로봇의 제약과 능력을 이해하지 못하고 (2) 캔버스에 비현실적인 편집을 가하고 내용을 덮어쓰지 않고서는 공동 페인팅을 수행할 수 없기 때문이다. 우리는 두 문제를 모두 해결할 수 있는 자기 지도 미세 조정 절차를 제안하며, 이를 통해 최신 사전 학습 텍스트-이미지 정렬 모델을 로봇과 함께 사용하여 물리 세계에서 공동 페인팅을 가능하게 한다. 우리의 오픈 소스 접근법인 CoFRIDA는 빈 캔버스에서 시작하든 사람이 만든 작업이 있는 캔버스에서 시작하든, FRIDA보다 입력 텍스트 프롬프트에 더 분명하게 부합하는 회화와 드로잉을 만든다. 더 일반적으로, 우리의 미세 조정 절차는 로봇의 제약과 능력을 파운데이션 모델에 성공적으로 인코딩하며, sim-to-real 격차를 줄이는 효과적인 방법으로서 유망한 결과를 보여 준다.

링크

• arXiv 2402.13442: https://arxiv.org/abs/2402.13442
• DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
• PDF: https://arxiv.org/pdf/2402.13442v1
• 코드: https://github.com/cmubig/Frida
• 프로젝트 페이지: https://pschaldenbrand.github.io/cofrida/