CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

作者: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

以繪畫機器人的模擬筆觸微調文字轉影像模型，讓它學會機器人能畫出什麼，以及如何延續人類的作品，將語意層面的模擬到現實差距從 0.241 降到 0.035。

為何重要

大型預先訓練影像模型對特定機器人的工具一無所知，這整體上限制了它們在實體規劃上的用途。論文顯示，以機器人自身的模擬輸出進行微調可以編碼這些限制，其開源程式碼可用於 XArm、Franka Emika 與 Rethink Sawyer 機器人平台。

問題

較早的機器人繪畫系統 FRIDA 只讓使用者提供初始的提示或影像，而其以 CLIP 引導的規劃會產生雜亂的畫作，與文字只是大致相符。預先訓練的文字轉影像模型能給出更清楚的影像，但它們不了解機器人在畫筆、顏色與筆觸上的限制，且在被要求編輯畫布時，常會做出大幅更動，覆蓋掉人類既有的作品。

提出的方法

CoFRIDA 使用 FRIDA 的模擬器繪製來自 LAION 藝術子集的影像，接著移除筆觸（全部、隨機子集、顯著區域或語意區域），組成部分畫作與完整畫作的配對，並捨棄模擬畫作相對於其說明文字之 CLIPScore 低於 0.5 的配對。以較低的學習率微調 Instruct-Pix2Pix，讓它從部分畫作與文字預測完整畫作；執行時，它提出畫布應呈現的樣貌，FRIDA 規劃達成該樣貌所需的筆觸，人與機器人輪流作畫，直到使用者滿意為止。

關鍵見解

共同作畫不同於影像修補（in-painting）：編輯必須保留並回應整張畫布，而不是重新構想使用者標記的局部區域。
除了像素層面的模擬到現實差距，還有語意層面的差距：機器人無法呈現的影像在被畫出來時會失去意義，這裡以生成影像與其模擬繪畫之間的 CLIP 嵌入餘弦距離來衡量。
微調之後，模型會適應各種設定：使用大號畫筆時呈現醒目的內容，使用固定調色盤或麥克筆時只用少數顏色，有筆觸數量上限時則畫出稀疏的素描。
先用預先訓練模型在像素空間中規劃語意，再交給低階的筆觸規劃器，可避免直接針對文字目標最佳化筆觸所產生的雜亂輸出。

主要結果

在每種方法 40 個共同作畫案例上（從 35 道模擬筆觸開始的 Sharpie 素描），語意差距 ∆sem 從未微調時的 0.241 降到微調後的 0.035，像素差距 ∆pix 則從 0.195 降到 0.052。
CLIPScore：FRIDA 為 0.741，CoFRIDA 為 0.624，未微調時為 0.595（BLIPScore 分別為 0.192、0.178、0.162）；FRIDA 直接最佳化 CLIPScore，因此作者認為這些分數對它有利。
在一項有 24 位參與者的 MTurk 調查中（每組影像 4 個評分，每個基準方法 160 次比較），CoFRIDA 普遍被選為比 FRIDA 以及未微調的 CoFRIDA 更清楚地符合說明文字，不過許多參與者認為兩張影像都不符合。
在 LAION 微調資料中，∆pix 與 CLIPScore 的相關性不顯著（Pearson −0.08，p = 0.08），∆sem 則有顯著的負相關（−0.48，p = 2.4e−31），作者將此解讀為模型學到的是機器人的能力，而非風格轉換。
使用壓克力顏料與 Sharpie 的實際畫作能回應微調資料以外的人類內容，包括水彩，儘管微調只使用了單一媒材。

限制

僅限於人與機器人之間離散的輪流互動。
用於訓練的部分畫作是透過人工設計的筆觸移除產生的；一種學習如何組成它們的端到端方法可能效果更好。
會受到 Stable Diffusion 及其訓練資料偏誤的影響，因此作者建議僅供研究使用；在 LAION 被通報含有有害內容後，他們將程式碼改用 COCO，且未發現品質下降。
模擬到現實的差距是相對於 FRIDA 的模擬而非實際畫作來量測，因為產生大量真實樣本並不可行。
機器人一次只能使用一種繪畫設定（12 色壓克力、固定 4 色壓克力或黑色 Sharpie）。

對領域的影響

榮獲 IEEE ICRA 2024 人機互動最佳論文獎，被引用 32 次。程式碼以開源形式釋出於 FRIDA 儲存庫，可用於 XArm、Franka Emika 與 Rethink Sawyer 機器人平台。

摘要

先前的機器人繪畫與素描研究，例如 FRIDA，著重於縮小模擬到現實的差距，以及擴充使用者的輸入模態，但與這些系統的互動通常只存在於輸入階段。為了支援互動式的人機協作繪畫，我們推出協作式 FRIDA（Collaborative FRIDA，CoFRIDA）機器人繪畫框架，它能修改並回應人類協作者已經畫好的內容，藉此共同作畫。為了改善文字與影像的對齊——這是 FRIDA 的主要弱點——我們的系統使用預先訓練的文字轉影像模型；然而，預先訓練的模型在真實世界共同作畫的情境中表現不佳，因為它們（1）不了解機器人的限制與能力，且（2）無法在不對畫布做出不切實際的編輯、不覆蓋既有內容的情況下共同作畫。我們提出一種能同時處理這兩個問題的自監督微調程序，讓最先進的預先訓練文字與影像對齊模型能與機器人一起使用，從而在實體世界中實現共同作畫。我們的開源方法 CoFRIDA，無論是從空白畫布開始，或是在已有人類作品的畫布上，所創作的繪畫與素描都比 FRIDA 更清楚地符合輸入的文字提示。更廣泛地說，我們的微調程序成功將機器人的限制與能力編碼進一個基礎模型，作為縮小模擬到現實差距的有效方法，展現出可期的成果。

連結

arXiv 2402.13442: https://arxiv.org/abs/2402.13442
DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
PDF: https://arxiv.org/pdf/2402.13442v1
程式碼: https://github.com/cmubig/Frida
專案頁面: https://pschaldenbrand.github.io/cofrida/