AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

저자: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RL 에이전트가 학습된 미적 평가 모델이 시야를 높게 평가할 때까지 알지 못하는 실내 장면에서 카메라를 이동하고 회전한 뒤 사진을 찍는다. Habitat에서 학습하고 Jackal UGV에서 실행했다.

중요한 이유

선택한 물체에 묶인 수작업 구도 규칙 대신, 학습된 데이터 기반 품질 점수가 로봇의 시점 탐색을 처음부터 끝까지 이끌 수 있음을 보여 준다. 학습된 채점기, 메모리 기반 정책, 국소 적응형 임계값이라는 같은 패턴은 저자들이 활용 사례로 언급한 점검이나 부동산 사진 촬영 같은 다른 능동 인식 과제에도 적용된다.

문제

좋은 사진의 구도를 잡는다는 것은 시야가 괜찮아 보일 때까지 카메라를 움직이고 돌리는 일이며, 연습이 필요하다. 기존 자동 구도 방법은 고정된 이미지를 크롭하거나, 드론 촬영에서는 삼등분 법칙 같은 휴리스틱으로 사람 피사체의 구도를 잡는다. 학습된 미적 점수는 해석적으로 최적화할 수 없으며, 기존 미적 평가 모델은 서로 다른 위치에서 본 시야가 아니라 한 이미지의 크롭을 비교하도록 학습되었다.

제안 방법

사진 촬영은 POMDP로 정식화된다. 에이전트는 현재 카메라 시야만 보며, 0.25 m 전진하거나 후진하고, 10°, 30°, 90° 회전하거나, 사진을 찍는다. LSTM 메모리를 가진 액터-크리틱 정책은 Gibson 장면을 사용해 AI Habitat에서 PPO로 학습하며, 작은 이동과 나쁜 노출에 대한 강건성을 위한 추가 손실과 함께 AVA와 CPC로 학습한 ResNet18 미적 평가 모델의 점수 변화를 보상으로 받는다. 촬영 보상은 사진이 국소 임계값을 넘을 때만 +1이며, 이 임계값은 가장 가까운 샘플 시야 100개의 점수 평균에 표준편차 1을 더한 값으로 정한다.

핵심 통찰

한 이미지의 크롭 순위만 매기도록 학습한 미적 평가 모델은 서로 다른 시점의 순위를 매기는 데 서툴다. AVA와 CPC 모두로 학습하고 평행 이동 및 노출 손실을 더하면 움직이는 카메라에 맞는 채점기가 된다.
단계별 미적 점수 변화에 감쇠하는 탐색 보너스를 더해 보상을 설계하는 것이 결정적이다. 종료 시점에만 주는 보상은 너무 희소하다.
LSTM 메모리 덕분에 에이전트는 나쁜 영역을 다시 탐색하지 않으며, 로봇에서는 상태 변화 없이 반복되는 행동이 다른 행동을 필요로 한다는 것을 학습한다.
성공 임계값을 국소 영역 자체의 점수 통계로 정하면 목표가 장면 크기와 전체 장면 품질에 좌우되지 않는다.

주요 결과

촬영된 사진은 본 적 없는 Gibson 장면 20개에서 81.7% ± 0.9, Replica 장면 18개에서 77.8% ± 1.0의 비율로 국소 미적 임계값을 넘었다.
가장 좋은 기준선은 Gibson에서 57.8%(모방 학습), Replica에서 56.6%(키 프레임 선택)에 도달했다. 삼등분 법칙은 19.1%와 17.3%, 무작위는 13.3%와 14.3%였다.
미적 평가 모델은 교차 시점 순위(AVA)에서 VEN의 62.2% 대비 84.4%, 노출 순위에서 81.0% 대비 99.7%, 최소 크롭 MSE에서 0.29 대비 0.03을 기록했으며, 크롭 순위에서는 약간 손해를 보았다(CPC 72.2% 대 75.8%).
Clearpath Jackal이 실내 사진 64장을 찍은 실험에서, Mechanical Turk 판정 1792건은 초기 시야보다 로봇의 사진을 선호하는 평균 선호도 0.63 ± 0.01을 보였다(0.5에 대한 t-검정, p < 0.05).
Gibson에서의 절제 실험: LSTM을 제거하면 성공률이 62.7%로, 마지막 층 특징만 사용하면 62.3%로, 두 보상 설계 항을 모두 제거하면 69.3%로 떨어졌다.

한계

저자들은 이 접근법이 고품질 시뮬레이션 환경에 의존하며, 일부 분야에서는 이를 확보하기 더 어려울 수 있다고 밝힌다.
저자들은 시스템 거동이 선택한 미적 함수에 크게 의존한다고 밝힌다.
이동은 이산적인 평면 단계(0.25 m 평행 이동과 10°/30°/90° 회전)로 제한된다. 예를 들어 드론에서의 완전한 6자유도 제어는 향후 과제로 남겨 두었다.
실제 환경 평가는 최종 사진을 로봇의 시작 시야와만 비교한다. 실제 장면을 조밀하게 샘플링하지 않으면 미적 임계값을 추정할 수 없기 때문이다.
로봇에서 충돌 처리는 외부에서 이루어진다. 선택한 행동이 충돌을 일으킬 경우 정책이 유효한 행동을 제안할 때까지 다시 질의한다.

분야에 미친 영향

IROS 2021 Best Entertainment and Amusement Paper Award 최종 후보이며, 15회 인용되었다. 저자들은 소스 코드를 GitHub에 공개한다.

초록

구도가 잘 잡힌 사진을 찍는 과정은 어렵고, 숙달하려면 수년의 경험이 필요하다. 우리는 자율 에이전트가 장면 안의 국소 영역을 이동하며 미적인 사진을 자동으로 촬영하는 새로운 파이프라인을 제안한다. 삼등분 법칙 같은 휴리스틱에 대한 고전적 최적화 대신, 사진 품질을 평가하기 위해 데이터 기반 미적 평가 추정기를 채택한다. 학습된 미적 지표에 대해 모델을 최적화하기 위해 강화학습 프레임워크를 사용한다. 실내 장면으로 시뮬레이션에서 모델을 학습하며, 우리 시스템이 지상 로봇에서 시뮬레이션과 실제 환경 모두에서 미적인 사진을 촬영할 수 있음을 보인다. 우리가 아는 한, 이는 학습된 미적 추정기에 따라 미적인 사진을 촬영하기 위해 환경을 자동으로 탐색할 수 있는 최초의 시스템이다. 소스 코드는 https://github.com/HadiZayer/AutoPhoto 에 있다.

링크

arXiv 2109.09923: https://arxiv.org/abs/2109.09923
DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
PDF: https://arxiv.org/pdf/2109.09923v1
코드: https://github.com/HadiZayer/AutoPhoto