AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

Autores: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un agente de RL mueve y gira una cámara por una escena de interior desconocida hasta que un modelo estético aprendido valora bien la vista, y entonces toma la foto; entrenado en Habitat y ejecutado en un UGV Jackal.

Por qué importa

Muestra que una puntuación de calidad aprendida y basada en datos puede guiar de extremo a extremo la búsqueda de punto de vista de un robot, en lugar de reglas de encuadre escritas a mano y ligadas a un objeto elegido. El mismo patrón de un evaluador aprendido, una política con memoria y un umbral adaptativo local se aplica a otras tareas de percepción activa, como la inspección o la fotografía inmobiliaria, que los autores mencionan como caso de uso.

Problema

Componer una buena foto significa mover y girar la cámara hasta que la vista se ve bien, lo que requiere práctica. La composición automática previa o bien recorta una imagen fija o bien, en la cinematografía con drones, encuadra a sujetos humanos con heurísticas como la regla de los tercios. Una puntuación estética aprendida no puede optimizarse analíticamente, y los modelos estéticos existentes se entrenaron para comparar recortes de una misma imagen, no vistas desde lugares distintos.

Solución propuesta

La captura de fotos se plantea como un POMDP: el agente solo ve la vista actual de la cámara, avanza o retrocede 0,25 m, gira 10°, 30° o 90°, o toma la foto. Una política actor-crítico con memoria LSTM se entrena con PPO en AI Habitat sobre escenas de Gibson, recompensada por el cambio de puntuación de un modelo estético ResNet18 entrenado con AVA y CPC con pérdidas adicionales para la robustez frente a pequeños desplazamientos y una mala exposición. La recompensa de captura es +1 solo si la foto supera un umbral local fijado en la media más una desviación típica de las puntuaciones de las 100 vistas muestreadas más cercanas.

Ideas clave

• Los modelos estéticos entrenados solo para ordenar recortes de una misma imagen ordenan mal puntos de vista distintos; entrenar con AVA y CPC con pérdidas de traslación y de exposición da un evaluador adecuado para una cámara en movimiento.
• Moldear la recompensa con el cambio por paso de la puntuación estética más una bonificación de exploración decreciente es fundamental; una recompensa solo terminal es demasiado escasa.
• La memoria LSTM permite al agente evitar volver a explorar regiones pobres y, en el robot, aprender que una acción repetida sin cambio de estado requiere una acción distinta.
• Fijar el umbral de éxito a partir de las estadísticas de puntuación de la propia región local hace que el objetivo sea independiente del tamaño de la escena y de su calidad global.

Resultados principales

• Las fotos capturadas superaron el umbral estético local el 81,7 % ± 0,9 de las veces en 20 escenas de Gibson no vistas y el 77,8 % ± 1,0 en 18 escenas de Replica.
• Los mejores métodos de referencia alcanzaron el 57,8 % (aprendizaje por imitación) en Gibson y el 56,6 % (selección de fotogramas clave) en Replica; la regla de los tercios alcanzó el 19,1 % y el 17,3 %, y el azar el 13,3 % y el 14,3 %.
• El modelo estético obtuvo un 84,4 % en ordenación entre vistas (AVA) frente al 62,2 % de VEN, un 99,7 % en ordenación por exposición frente al 81,0 %, y un MSE de recorte mínimo de 0,03 frente a 0,29, con un pequeño coste en la ordenación de recortes (CPC 72,2 % frente a 75,8 %).
• En un Clearpath Jackal que tomó 64 fotos de interior, 1792 valoraciones de Mechanical Turk dieron una preferencia media de 0,63 ± 0,01 por la foto del robot frente a la vista inicial (prueba t frente a 0.5, p < 0.05).
• Estudios de ablación en Gibson: quitar la LSTM bajó el éxito al 62,7 %, usar solo características de la última capa al 62,3 % y quitar ambos términos de moldeado de la recompensa al 69,3 %.

Limitaciones

• Los autores afirman que el enfoque depende de entornos simulados de alta calidad, que pueden ser más difíciles de obtener en algunos dominios.
• Los autores afirman que el comportamiento del sistema depende fuertemente de la función estética elegida.
• El movimiento se limita a pasos planos discretos (traslaciones de 0,25 m y giros de 10°/30°/90°); el control completo de 6 grados de libertad, por ejemplo en un dron, se deja para trabajo futuro.
• La evaluación en el mundo real compara la foto final solo con la vista inicial del robot, ya que no se puede estimar un umbral estético sin un muestreo denso de la escena real.
• En el robot, la gestión de colisiones es externa: si la acción elegida provocaría una colisión, se vuelve a consultar a la política hasta que propone una válida.

Impacto en el campo

Finalista del IROS 2021 Best Entertainment and Amusement Paper Award, con 15 citas. Los autores publican el código fuente en GitHub.

Resumen

El proceso de capturar una foto bien compuesta es difícil y requiere años de experiencia para dominarlo. Proponemos una cadena novedosa para que un agente autónomo capture automáticamente una fotografía estética navegando dentro de una región local de una escena. En lugar de la optimización clásica sobre heurísticas como la regla de los tercios, adoptamos un estimador estético basado en datos para evaluar la calidad de la foto. Se usa un marco de aprendizaje por refuerzo para optimizar el modelo con respecto a la métrica estética aprendida. Entrenamos nuestro modelo en simulación con escenas de interiores y demostramos que nuestro sistema puede capturar fotos estéticas tanto en simulación como en entornos del mundo real en un robot terrestre. Hasta donde sabemos, este es el primer sistema capaz de explorar automáticamente un entorno para capturar una foto estética con respecto a un estimador estético aprendido. El código fuente está en https://github.com/HadiZayer/AutoPhoto

Enlaces

• arXiv 2109.09923: https://arxiv.org/abs/2109.09923
• DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
• PDF: https://arxiv.org/pdf/2109.09923v1
• Código: https://github.com/HadiZayer/AutoPhoto