AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

作者: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个 RL 智能体在未知室内场景中移动和转动相机，直到习得的美学模型对视野给出高分，然后拍照；在 Habitat 中训练，在 Jackal UGV 上运行。

为何重要

它表明，一个习得的、数据驱动的质量分数可以端到端地驱动机器人的视点搜索，而不是依靠与选定物体绑定的手写构图规则。“习得的评分器、基于记忆的策略和局部自适应阈值”这一模式同样适用于其他主动感知任务，例如检测或房地产摄影，作者也将后者列为一个应用场景。

问题

拍出一张好照片的构图意味着要移动和转动相机，直到画面看起来合适，这需要练习。以往的自动构图要么裁剪一张固定的图像，要么在无人机电影摄影中用三分法等启发式规则为人物构图。习得的美学分数无法通过解析方法优化，而现有的美学模型是为比较同一图像的不同裁剪而训练的，而不是比较来自不同位置的视野。

提出的方法

照片拍摄被表述为一个 POMDP：智能体只能看到当前的相机画面，可以前进或后退 0.25 m，转动 10°、30° 或 90°，或者拍照。一个带 LSTM 记忆的演员-评论家（actor-critic）策略在 AI Habitat 中的 Gibson 场景上用 PPO 训练，其奖励为一个 ResNet18 美学模型给出分数的变化量；该美学模型在 AVA 和 CPC 上训练，并加入额外损失，以对小幅位移和曝光不佳具有鲁棒性。只有当照片超过一个局部阈值时，拍摄奖励才为 +1，该阈值设为 100 个最近采样视野分数的均值加一个标准差。

关键见解

只为对同一张图像的裁剪进行排序而训练的美学模型，不擅长对不同视点进行排序；在 AVA 和 CPC 上同时训练并加入平移和曝光损失，可以得到适合移动相机的评分器。
用每一步美学分数的变化量加上逐渐衰减的探索奖励来塑造奖励至关重要；只在终止时给予的奖励过于稀疏。
LSTM 记忆使智能体能够避免重复探索较差的区域，并且在机器人上学到：一个重复执行却没有改变状态的动作，需要换成另一个动作。
根据局部区域自身的分数统计来设定成功阈值，使目标与场景大小和场景整体质量无关。

主要结果

在 20 个未见过的 Gibson 场景上，拍摄的照片有 81.7% ± 0.9 的时间超过局部美学阈值，在 18 个 Replica 场景上为 77.8% ± 1.0。
最佳基线在 Gibson 上达到 57.8%（模仿学习），在 Replica 上达到 56.6%（关键帧选择）；三分法分别为 19.1% 和 17.3%，随机方法为 13.3% 和 14.3%。
该美学模型在跨视点排序（AVA）上得分 84.4%，VEN 为 62.2%；在曝光排序上为 99.7%，对比 81.0%；最小裁剪 MSE 为 0.03，对比 0.29；代价是裁剪排序略有下降（CPC 72.2% 对比 75.8%）。
在 Clearpath Jackal 拍摄的 64 张室内照片上，1792 份 Mechanical Turk 评判给出对机器人照片相对于初始视野的平均偏好为 0.63 ± 0.01（相对 0.5 的 t 检验，p < 0.05）。
Gibson 上的消融实验：去掉 LSTM 使成功率降至 62.7%，只用最后一层特征降至 62.3%，去掉两项奖励塑造项降至 69.3%。

局限

作者表示，该方法依赖高质量的仿真环境，而在某些领域可能更难获得这样的环境。
作者表示，系统行为在很大程度上取决于所选的美学函数。
运动仅限于离散的平面步长（0.25 m 平移以及 10°/30°/90° 转向）；完整的 6 自由度控制（例如在无人机上）留待未来工作。
真实世界评估只将最终照片与机器人的起始视野进行比较，因为不对真实场景进行密集采样就无法估计美学阈值。
在机器人上，碰撞处理是外部的：如果所选动作会导致碰撞，就再次查询策略，直到它给出一个有效的动作。

对领域的影响

IROS 2021 最佳娱乐与游乐论文奖决选入围论文，被引用 15 次。作者在 GitHub 上发布了源代码。

摘要

拍摄一张构图良好的照片很难，需要多年经验才能掌握。我们提出一种新颖的流水线，使自主智能体能够通过在场景中的局部区域内导航，自动拍摄具有美感的照片。我们不采用基于三分法等启发式规则的经典优化，而是采用数据驱动的美学评估器来评估照片质量。我们使用强化学习框架，针对习得的美学指标来优化模型。我们在仿真中用室内场景训练模型，并证明我们的系统能够在仿真和真实世界环境中、在地面机器人上拍摄出具有美感的照片。据我们所知，这是第一个能够根据习得的美学评估器自动探索环境以拍摄具有美感照片的系统。源代码位于 https://github.com/HadiZayer/AutoPhoto

链接

arXiv 2109.09923: https://arxiv.org/abs/2109.09923
DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
PDF: https://arxiv.org/pdf/2109.09923v1
代码: https://github.com/HadiZayer/AutoPhoto