FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

作者: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个机器人画家：在由自身真实笔触构建的可微模拟器中规划笔触，然后根据相机图像重新规划，以达成文字、图像或草图目标。

为何重要

该系统将基于预训练视觉模型的内容生成与物理机械臂的动作规划结合起来，并适应真实颜料和画笔的实际表现，而不是假设执行完美无误。由于模拟器是用机器人自身的一小组笔触拟合的，当画笔或材料改变时可以重新标定；作者称，任何与 Sawyer 形态相似、兼容 ROS 的机械臂，只需极少的接口改动即可适配。

问题

绘画是一个具有高层语义目标的动态过程，但大多数机器人绘画系统把它当作打印：预先制定完整的笔触计划，然后盲目执行。基于学习的绘画系统在 sim2real 差距很大的模拟器中进行规划，因此其笔触计划画出的作品质量差，或者无法在真实机器人上执行。

提出的方法

在标定阶段，机器人画出随机笔触，一个小型网络（param2stroke）学习将三个笔触形状参数（粗细、弯曲、长度）映射到笔触的外观；再加上可微的放置和印到画布上的操作，就构成了一个完全可微的绘画模拟器。笔触计划通过梯度下降针对 CLIP 文本、VGG 风格、像素或 CLIP 特征损失进行优化；每执行完一批笔触后，就用真实画布的相机图像重新优化剩余计划。

关键见解

用机器人实际画出的笔触拟合笔触模型（real2sim2real），其 sim2real 差距小于早期基于学习的绘画系统所用的无约束或人工约束笔触模型。
完全可微的渲染流程使来自 CLIP 和 VGG 等预训练网络的损失能够通过梯度下降直接驱动笔触参数。
每画完一批笔触后，根据相机图像重新优化剩余计划，使计划能够适应随机的执行过程；若不重新规划，与初始计划的偏差会随笔触逐一线性增长。
在一项众包调查中，基于 CLIP 卷积特征的语义复现损失比像素 L2 损失更好地捕捉了目标内容。
按从浅到深的顺序排列笔触，可减少清洗画笔的时间，并避免画笔把未干的深色颜料拖入浅色区域。

主要结果

在 50 个样本上，建模笔触与真实笔触之间的平均 L1 距离：param2stroke 为 0.012（训练笔触）和 0.018（测试笔触），DiffVG 为 0.028 和 0.028；差异在 p < .01 水平上显著。
一幅肖像上的 Sim2real 差距（以模拟计划与真实画作之间的 MSE 衡量）：FRIDA 为 0.029，Schaldenbrand & Oh 2021 为 0.066，Huang et al. 2019 为 0.156。
在一项有 103 名 Amazon Mechanical Turk 参与者的调查中，73.3%（复现问题）和 68.3%（高层内容问题）的人更喜欢用 Semantic Replication Objective 绘制的作品；两者在 p = 0.01 水平上均显著高于 50%。
随着标定笔触增多，笔触模型误差稳步下降，在约 100 条训练/验证笔触之后增益很小（在 42 条留出笔触上测试）。
在真实机器人上演示的任务包括：按示例图像的风格根据语言描述作画、在概念层面描绘目标图像，以及根据用户草图作画。

局限

绘画模型经过简化：颜色选项是离散的，笔触被假设为相互独立，没有对颜料干湿程度或画笔上颜料量建模，且画笔固定为垂直于画布。
该系统对动态创作过程的理解远比其所借鉴的概念受限；它尚不能探索或创造新风格。
没有自动调色：由人来调配并提供离散的调色板，画布、颜料、水和抹布的位置都是显式编程设定的。
画笔上的颜料量是最大的未建模变量，给笔触模型带来噪声。
布置时需要间接的漫射光照，以避免湿颜料反光；标定时需要人工标记画布四角，并设定画笔最轻和最重的触碰。

对领域的影响

入围 ICRA 2023 杰出已部署系统论文奖决赛，被引用 56 次。完整的 FRIDA 软件栈已开源发布。

摘要

绘画是一种呈现视觉内容的艺术过程，用以实现艺术家的高层沟通目标，而这些目标可能在整个创作过程中动态变化。在本文中，我们提出了 Framework and Robotics Initiative for Developing Arts（FRIDA），它使人类能够借助语言描述或图像等简单输入，与一台绘画机器人协作，在画布上创作绘画。FRIDA 为对创造性绘画过程进行计算建模引入了多项技术创新。首先，我们采用从现实到仿真再到现实（real2sim2real）的思路，开发了一个完全可微的绘画仿真环境。我们表明，所提出的模拟绘画环境比现有用于机器人绘画的仿真环境对现实的还原度更高。其次，为了对创作过程不断演变的动态进行建模，我们开发了一种规划方法，能够根据不断变化的画布、针对高层目标持续优化绘画计划。现有方法将内容生成过程和动作规划独立且依次执行，与之不同，FRIDA 依据其对绘画进展的视觉感知，持续重新规划并重新评估其语义目标，从而适应使用颜料和画笔所固有的随机性。我们介绍了技术方法以及系统集成的细节。FRIDA 软件可在以下地址免费获取：https://pschaldenbrand.github.io/frida/。

链接

arXiv 2210.00664: https://arxiv.org/abs/2210.00664
DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
PDF: https://arxiv.org/pdf/2210.00664v1
代码: https://github.com/pschaldenbrand/Frida
项目主页: https://pschaldenbrand.github.io/frida/