CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

作者: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在绘画机器人的仿真笔触上微调文本到图像模型，使其学会机器人能画出什么以及如何延续人类的作品，把语义上的仿真到现实差距从 0.241 降到 0.035。

为何重要

大型预训练图像模型对特定机器人的工具一无所知，这在总体上限制了它们在物理规划中的用途。论文表明，在机器人自身的仿真输出上进行微调可以编码这些约束，其开源代码可用于 XArm、Franka Emika 和 Rethink Sawyer 机器人平台。

问题

早期的机器人绘画系统 FRIDA 只允许用户提供一个初始提示或图像，其由 CLIP 引导的规划会产生杂乱的绘画，与文本只是大致相符。预训练的文本到图像模型能给出更清晰的图像，但它们不了解机器人的画笔、颜色和笔触限制，而且在被要求编辑画布时，往往会做出大幅改动，覆盖人类已有的作品。

提出的方法

CoFRIDA 使用 FRIDA 的仿真器绘制来自 LAION 艺术子集的图像，然后移除笔触（全部、随机子集、显著区域或语义区域）以构成部分绘画与完整绘画的配对，并丢弃仿真绘画相对于其说明文字的 CLIPScore 低于 0.5 的配对。以较低的学习率微调 Instruct-Pix2Pix，使其根据部分绘画和文本预测完整绘画；运行时，它提出画布应呈现的样子，FRIDA 规划达到该样子的笔触，人和机器人轮流作画，直到用户满意为止。

关键见解

协同绘画不同于图像修复（in-painting）：编辑必须保留并呼应整个画布，而不是重新构想用户标记的局部区域。
除了像素层面的仿真到现实差距，还存在语义层面的差距：机器人无法呈现的图像在被画出来时会失去意义，这里用生成图像与其仿真绘画之间的 CLIP 嵌入余弦距离来衡量。
微调之后，模型会适应每种设置：大号画笔时突出主要内容，固定调色板或马克笔时使用很少的颜色，有笔触数量限制时生成稀疏的素描。
先用预训练模型在像素空间中规划语义，再交给低层笔触规划器，可以避免直接针对文本目标优化笔触所产生的杂乱输出。

主要结果

在每种方法 40 个协同绘画案例上（从 35 个仿真笔触开始的 Sharpie 素描），语义差距 ∆sem 从未微调时的 0.241 降到微调后的 0.035，像素差距 ∆pix 从 0.195 降到 0.052。
CLIPScore：FRIDA 为 0.741，CoFRIDA 为 0.624，未微调时为 0.595（BLIPScore 分别为 0.192、0.178、0.162）；FRIDA 直接优化 CLIPScore，因此作者认为这些分数对它有利。
在一项有 24 名参与者的 MTurk 调查中（每对图像 4 个评分，每个基线 160 次比较），CoFRIDA 通常被认为比 FRIDA 以及未微调的 CoFRIDA 更清晰地匹配说明文字，不过许多参与者认为两幅图像都不符合。
在 LAION 微调数据上，∆pix 与 CLIPScore 的相关性不显著（Pearson −0.08，p = 0.08），而 ∆sem 有显著的负相关（−0.48，p = 2.4e−31），作者将此解读为模型学到的是机器人的能力，而非风格迁移。
使用丙烯颜料和 Sharpie 的真实绘画能够呼应微调数据之外的人类内容，包括水彩，尽管微调只使用了一种媒介。

局限

仅限于人与机器人之间离散的轮流交互。
用于训练的部分绘画是通过手工设计的笔触移除来生成的；一种学习如何构成它们的端到端方法可能效果更好。
受 Stable Diffusion 及其训练数据偏见的影响，因此作者建议仅用于研究；在 LAION 被报告含有有害内容后，他们把代码切换到 COCO，且没有发现质量下降。
仿真到现实的差距是相对于 FRIDA 的仿真而不是真实绘画来衡量的，因为生成大量真实样本不可行。
机器人一次只能使用一种绘画设置（12 色丙烯、固定 4 色丙烯或黑色 Sharpie）。

对领域的影响

获得 IEEE ICRA 2024 人机交互最佳论文奖，被引用 32 次。代码作为开源发布在 FRIDA 仓库中，可用于 XArm、Franka Emika 和 Rethink Sawyer 机器人平台。

摘要

以往的机器人绘画和素描工作，例如 FRIDA，专注于缩小仿真到现实的差距并扩展用户的输入模态，但与这些系统的交互通常只存在于输入阶段。为支持交互式的人机协作绘画，我们推出协作式 FRIDA（Collaborative FRIDA，CoFRIDA）机器人绘画框架，它能够通过修改并呼应人类协作者已经画好的内容来进行协同绘画。为改善文本与图像的对齐——这是 FRIDA 的主要弱点——我们的系统使用预训练的文本到图像模型；然而，预训练模型在真实世界协同绘画的情境中表现不佳，因为它们（1）不理解机器人的约束和能力，（2）无法在不对画布进行不现实的编辑、不覆盖已有内容的情况下进行协同绘画。我们提出一种能够同时解决这两个问题的自监督微调流程，使最先进的预训练文本-图像对齐模型能够与机器人一起使用，从而在物理世界中实现协同绘画。我们的开源方法 CoFRIDA 无论是从空白画布开始，还是在已有人类作品的画布上，所创作的绘画和素描都比 FRIDA 更清晰地匹配输入的文本提示。更广泛地说，我们的微调流程成功地把机器人的约束和能力编码进一个基础模型，作为缩小仿真到现实差距的一种有效方法展现出有前景的结果。

链接

arXiv 2402.13442: https://arxiv.org/abs/2402.13442
DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
PDF: https://arxiv.org/pdf/2402.13442v1
代码: https://github.com/cmubig/Frida
项目主页: https://pschaldenbrand.github.io/cofrida/