FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

作者: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個機器人畫家：在由自身真實筆觸建構的可微分模擬器中規劃筆觸，再依相機影像重新規劃，以達成文字、影像或草圖目標。

為何重要

這套系統把以預訓練視覺模型進行的內容生成，與實體機器手臂的動作規劃結合起來，並適應真實顏料與畫筆的實際表現，而非假設執行完美。由於模擬器是以機器人自身的一小組筆觸擬合而成，畫筆或材料改變時可以重新校正；作者表示，任何與 Sawyer 形態相似、相容 ROS 的機器手臂，只需極少的介面修改即可沿用。

問題

繪畫是具有高層次語意目標的動態過程，但多數機器人繪畫系統把它當作列印：事先擬定完整的筆觸計畫，再盲目執行。具學習能力的繪畫系統在模擬到現實（sim2real）落差很大的模擬器中規劃，因此其筆觸計畫畫出的作品不佳，或根本無法在真實機器人上執行。

提出的方法

校正時，機器人畫出隨機筆觸，一個小型網路（param2stroke）學習把三個筆觸形狀參數（粗細、彎曲、長度）對應到筆觸的外觀；再加上可微分的擺放與蓋印到畫布上的步驟，就構成完全可微分的繪畫模擬器。筆觸計畫以梯度下降針對 CLIP 文字、VGG 風格、像素或 CLIP 特徵損失進行最佳化，每執行完一批筆觸，就以真實畫布的相機影像重新最佳化剩餘計畫。

關鍵見解

以機器人實際畫出的筆觸擬合筆觸模型（real2sim2real），其模擬到現實（sim2real）落差比早期以學習為基礎的繪畫系統所用的無約束或人工約束筆觸模型更小。
完全可微分的算繪流程，讓 CLIP 與 VGG 等預訓練網路的損失能透過梯度下降直接驅動筆觸參數。
每畫完一批筆觸後，依相機影像重新最佳化剩餘計畫，讓計畫能適應隨機的執行結果；若不重新規劃，與初始計畫的偏差會隨每一筆線性增加。
在一項群眾調查中，以 CLIP 卷積特徵計算的語意複製損失比像素 L2 損失更能捕捉目標內容。
依由淺到深的順序安排筆觸，可減少清洗畫筆的時間，並避免畫筆把未乾的深色顏料拖進淺色區域。

主要結果

在 50 個樣本上，模型筆觸與真實筆觸的平均 L1 距離：param2stroke 為 0.012（訓練筆觸）與 0.018（測試筆觸），DiffVG 為 0.028 與 0.028；差異在 p < .01 下顯著。
一幅肖像上的模擬到現實（Sim2real）落差（以模擬計畫與真實畫作之間的 MSE 衡量）：FRIDA 為 0.029，Schaldenbrand & Oh 2021 為 0.066，Huang et al. 2019 為 0.156。
在 103 名 Amazon Mechanical Turk 參與者的調查中，73.3%（複製問題）與 68.3%（高層次內容問題）偏好以 Semantic Replication Objective 繪製的畫作；兩者在 p = 0.01 下皆顯著高於 50%。
隨著校正筆觸增加，筆觸模型誤差穩定下降，約 100 筆訓練／驗證筆觸之後增益就很小（以 42 筆保留筆觸測試）。
在真實機器人上展示的任務包括：依語言描述並仿照範例影像的風格作畫、以概念方式描繪目標影像，以及依使用者草圖作畫。

限制

繪畫模型經過簡化：顏色選項是離散的，筆觸被假設彼此獨立，未建模顏料的乾濕程度或畫筆上的顏料量，且畫筆固定垂直於畫布。
此系統對動態創作過程的概念，遠比其所參考的概念受限；它尚未能探索或創造新風格。
沒有自動調色：由人來調配並提供離散的調色盤，畫布、顏料、水與抹布的位置皆為明確寫入程式。
畫筆上的顏料量是最大的未建模變數，為筆觸模型帶來雜訊。
架設時需要間接的漫射照明，以避免濕顏料反光；校正時需要有人標出畫布四角，並設定畫筆最輕與最重的觸碰。

對領域的影響

入圍 ICRA 2023 傑出部署系統論文獎決選，被引用 56 次。完整的 FRIDA 軟體堆疊已以開源釋出。

摘要

繪畫是呈現視覺內容的藝術過程，用以達成藝術家的高層次溝通目標，而這些目標可能在整個創作過程中動態改變。本文提出 Framework and Robotics Initiative for Developing Arts（FRIDA），讓人類能透過語言描述或影像等簡單輸入，與一台繪畫機器人協作，在畫布上創作畫作。FRIDA 為創意繪畫過程的計算建模引入多項技術創新。首先，我們採用從現實到模擬再到現實（real2sim2real）的概念，開發一個完全可微分的繪畫模擬環境。我們證明所提出的模擬繪畫環境比現有用於機器人繪畫的模擬環境更貼近現實。其次，為了建模創作過程不斷演變的動態，我們開發一種規劃方法，能依據持續變化的畫布、針對高層次目標不斷最佳化繪畫計畫。現有方法將內容生成過程與動作規劃獨立且依序執行，FRIDA 則不同，它依據自身對繪畫進度的視覺感知，持續重新規劃並重新評估其語意目標，藉此適應使用顏料與畫筆時的隨機性。我們說明技術方法與系統整合的細節。FRIDA 軟體可在此免費取得：https://pschaldenbrand.github.io/frida/。

連結

arXiv 2210.00664: https://arxiv.org/abs/2210.00664
DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
PDF: https://arxiv.org/pdf/2210.00664v1
程式碼: https://github.com/pschaldenbrand/Frida
專案頁面: https://pschaldenbrand.github.io/frida/