Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

著者: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

RL エージェントが未知の室内シーンでカメラを移動・回転させ、学習済みの美的評価モデルが視野を高く評価したところで撮影する。Habitat で訓練し、Jackal UGV で動かした。

重要な理由

選んだ物体に結び付いた手書きの構図ルールではなく、学習によるデータ駆動の品質スコアがロボットの視点探索をエンドツーエンドで駆動できることを示している。学習済みの採点器、記憶に基づく方策、局所的な適応しきい値という同じ構成は、点検や不動産写真のような他の能動知覚タスクにも当てはまり、著者らは後者を用途の 1 つとして挙げている。

課題

良い写真の構図を決めるには、見え方が適切になるまでカメラを動かしたり回したりする必要があり、練習を要する。従来の自動構図は、固定した画像を切り抜くか、ドローンによる映画撮影で三分割法のようなヒューリスティクスを使って人物をフレームに収めるものだった。学習した美的スコアは解析的に最適化できず、既存の美的評価モデルは異なる場所からの視野ではなく、1 枚の画像の切り抜き同士を比較するよう訓練されていた。

提案手法

写真撮影を POMDP として定式化する。エージェントは現在のカメラ視野だけを見て、0.25 m 前進または後退する、10°、30°、90° 回転する、または撮影する。LSTM の記憶をもつアクター・クリティック方策を、AI Habitat の Gibson シーンで PPO により訓練する。報酬は ResNet18 の美的評価モデルによるスコアの変化であり、このモデルは AVA と CPC で訓練され、わずかなずれや不適切な露出に対して頑健になるよう追加の損失を加えている。撮影報酬は、写真が局所しきい値を上回った場合にのみ +1 となり、このしきい値は最も近い 100 個のサンプリング視野のスコアの平均に標準偏差 1 つ分を加えた値に設定される。

主な知見

  • 1 枚の画像の切り抜きの順位付けだけを学習した美的評価モデルは、異なる視点の順位付けが苦手である。AVA と CPC の両方で、平行移動と露出の損失を加えて訓練すると、動くカメラに適した採点器が得られる。
  • ステップごとの美的スコアの変化に、減衰する探索ボーナスを加えて報酬を設計することが決定的に重要であり、終端のみの報酬では疎すぎる。
  • LSTM の記憶により、エージェントは質の悪い領域を再探索せずに済み、ロボット上では、状態が変わらないまま繰り返す行動には別の行動が必要だと学べる。
  • 成功のしきい値を局所領域自身のスコア統計から設定することで、目標がシーンの広さやシーン全体の質に左右されなくなる。

主な結果

  • 撮影した写真は、未見の Gibson シーン 20 個で 81.7% ± 0.9、Replica シーン 18 個で 77.8% ± 1.0 の割合で局所的な美的しきい値を上回った。
  • 最良のベースラインは Gibson で 57.8%（模倣学習）、Replica で 56.6%（キーフレーム選択）に達した。三分割法はそれぞれ 19.1% と 17.3%、ランダムは 13.3% と 14.3% だった。
  • 美的評価モデルは、視点間の順位付け（AVA）で 84.4%（VEN は 62.2%）、露出の順位付けで 99.7%（同 81.0%）、最小切り抜き MSE で 0.03（同 0.29）を記録し、その代わり切り抜きの順位付けではわずかに劣った（CPC 72.2% 対 75.8%）。
  • Clearpath Jackal で撮影した室内写真 64 枚について、1792 件の Mechanical Turk の判定から、初期視野に対するロボットの写真の平均選好度は 0.63 ± 0.01 だった（0.5 に対する t 検定、p < 0.05）。
  • Gibson でのアブレーション：LSTM を除くと成功率は 62.7% に、最終層の特徴だけを使うと 62.3% に、報酬設計の 2 項を両方除くと 69.3% に下がった。

制限事項

  • 著者らは、この手法が高品質なシミュレーション環境に依存しており、分野によってはそれを入手するのが難しい場合があると述べている。
  • 著者らは、システムの挙動が選んだ美的関数に強く依存すると述べている。
  • 移動は離散的な平面上のステップ（0.25 m の平行移動と 10°/30°/90° の回転）に限られ、ドローンなどでの完全な 6 自由度の制御は今後の課題とされている。
  • 実世界の評価では、実シーンを密にサンプリングしなければ美的しきい値を推定できないため、最終的な写真をロボットの開始時の視野とだけ比較している。
  • ロボット上では衝突の処理は外部で行われる。選んだ行動が衝突を起こす場合、方策が有効な行動を提案するまで再度問い合わせる。

分野への影響

IROS 2021 Best Entertainment and Amusement Paper Award のファイナリストで、被引用数は 15 である。著者らはソースコードを GitHub で公開している。

概要

構図の良い写真を撮ることは難しく、習得には何年もの経験が必要である。我々は、自律エージェントがシーン内の局所領域をナビゲートすることで、美的な写真を自動的に撮影するための新しいパイプラインを提案する。三分割法のようなヒューリスティクスに対する古典的な最適化ではなく、データ駆動の美的評価器を採用して写真の質を評価する。学習した美的指標に関してモデルを最適化するために、強化学習のフレームワークを用いる。モデルは室内シーンを用いてシミュレーションで訓練し、我々のシステムがシミュレーションと実世界の両方の環境で、地上ロボット上で美的な写真を撮影できることを示す。我々の知る限り、これは学習した美的評価器に基づいて環境を自動的に探索し、美的な写真を撮影できる初めてのシステムである。ソースコードは https://github.com/HadiZayer/AutoPhoto にある。

リンク

  • arXiv 2109.09923: https://arxiv.org/abs/2109.09923
  • DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
  • PDF: https://arxiv.org/pdf/2109.09923v1
  • コード: https://github.com/HadiZayer/AutoPhoto

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。