AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

作者: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個 RL 代理人在未知的室內場景中移動與轉動攝影機，直到學得的美學模型給予畫面高分，然後拍照；在 Habitat 中訓練，在 Jackal UGV 上執行。

為何重要

它顯示一個學得的、資料驅動的品質分數，可以端到端地驅動機器人的視點搜尋，而不是仰賴綁定特定物體的手寫構圖規則。「學得的評分器、以記憶為基礎的策略與局部自適應門檻」這種模式，也適用於其他主動感知任務，例如檢測或房地產攝影，作者也將後者列為一個使用情境。

問題

為一張好照片構圖，意味著要移動與轉動攝影機，直到畫面看起來對了，這需要練習。過去的自動構圖要不是裁切一張固定的影像，就是在無人機電影攝影中以三分法等啟發式規則為人物構圖。學得的美學分數無法以解析方式最佳化，而現有的美學模型是為了比較同一張影像的不同裁切而訓練，而不是比較從不同位置看到的畫面。

提出的方法

拍照被表述為一個 POMDP：代理人只看得到目前的攝影機畫面，可以前進或後退 0.25 m、轉動 10°、30° 或 90°，或是拍照。一個具 LSTM 記憶的行動者-評論者（actor-critic）策略在 AI Habitat 中的 Gibson 場景上以 PPO 訓練，獎勵為一個 ResNet18 美學模型分數的變化量；該美學模型在 AVA 與 CPC 上訓練，並加入額外損失，使其對小幅位移與曝光不佳具強健性。只有當照片超過局部門檻時，拍照獎勵才是 +1，該門檻設為 100 個最近取樣畫面分數的平均值加一個標準差。

關鍵見解

只為了排序同一張影像的裁切而訓練的美學模型，不擅長排序不同的視點；同時在 AVA 與 CPC 上訓練並加入平移與曝光損失，能得到適合移動中攝影機的評分器。
以每一步美學分數的變化量加上逐步衰減的探索獎勵來塑形獎勵至關重要；只在結束時給的獎勵過於稀疏。
LSTM 記憶讓代理人能避免重複探索較差的區域，並在機器人上學到：重複執行卻沒有改變狀態的動作，需要換成另一個動作。
依據局部區域本身的分數統計來設定成功門檻，使目標與場景大小及場景整體品質無關。

主要結果

在 20 個未見過的 Gibson 場景上，拍出的照片有 81.7% ± 0.9 的比例超過局部美學門檻，在 18 個 Replica 場景上為 77.8% ± 1.0。
最佳基準在 Gibson 上達到 57.8%（模仿學習），在 Replica 上達到 56.6%（關鍵影格選擇）；三分法分別為 19.1% 與 17.3%，隨機為 13.3% 與 14.3%。
此美學模型在跨視點排序（AVA）上得分 84.4%，VEN 為 62.2%；在曝光排序上為 99.7%，相較於 81.0%；最小裁切 MSE 為 0.03，相較於 0.29；代價是裁切排序略降（CPC 72.2% 相較於 75.8%）。
在 Clearpath Jackal 拍攝的 64 張室內照片上，1792 筆 Mechanical Turk 評判顯示，相較於初始畫面，對機器人照片的平均偏好為 0.63 ± 0.01（對 0.5 的 t 檢定，p < 0.05）。
Gibson 上的消融實驗：移除 LSTM 使成功率降至 62.7%，只用最後一層特徵降至 62.3%，移除兩個獎勵塑形項降至 69.3%。

限制

作者表示，此方法仰賴高品質的模擬環境，而在某些領域可能較難取得。
作者表示，系統行為在很大程度上取決於所選擇的美學函數。
移動僅限於離散的平面步伐（0.25 m 平移與 10°/30°/90° 轉向）；完整的 6 自由度控制（例如在無人機上）留待未來工作。
真實世界評估只將最終照片與機器人的起始畫面比較，因為若不對真實場景進行密集取樣，就無法估計美學門檻。
在機器人上，碰撞處理是在外部進行：如果所選動作會發生碰撞，就再次查詢策略，直到它提出有效的動作。

對領域的影響

IROS 2021 最佳娛樂與遊樂論文獎決選入圍論文，被引用 15 次。作者在 GitHub 上釋出原始碼。

摘要

拍出構圖良好的照片並不容易，需要多年經驗才能熟練。我們提出一套新穎的管線，讓自主代理人能在場景中的局部區域內導航，自動拍攝具美感的照片。我們不採用以三分法等啟發式規則為基礎的傳統最佳化，而是採用資料驅動的美學評估器來評估照片品質。我們使用強化學習框架，針對學得的美學指標來最佳化模型。我們在模擬中以室內場景訓練模型，並證明我們的系統能在模擬與真實世界環境中、於地面機器人上拍出具美感的照片。據我們所知，這是第一個能依據學得的美學評估器自動探索環境、拍攝具美感照片的系統。原始碼位於 https://github.com/HadiZayer/AutoPhoto

連結

arXiv 2109.09923: https://arxiv.org/abs/2109.09923
DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
PDF: https://arxiv.org/pdf/2109.09923v1
程式碼: https://github.com/HadiZayer/AutoPhoto