AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

Autori: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un agente RL sposta e ruota una fotocamera in una scena di interni sconosciuta finché un modello estetico appreso non valuta bene la vista, poi scatta la foto; addestrato in Habitat ed eseguito su un UGV Jackal.

Perché è importante

Mostra che un punteggio di qualità appreso e basato sui dati può guidare end-to-end la ricerca del punto di vista di un robot, invece di regole di inquadratura scritte a mano e legate a un oggetto scelto. Lo stesso schema di un valutatore appreso, una policy con memoria e una soglia adattiva locale si applica ad altri compiti di percezione attiva come l'ispezione o la fotografia immobiliare, che gli autori indicano come caso d'uso.

Problema

Comporre una buona foto significa spostare e ruotare la fotocamera finché la vista non è giusta, il che richiede pratica. La composizione automatica precedente o ritaglia un'immagine fissa oppure, nella cinematografia con droni, inquadra soggetti umani con euristiche come la regola dei terzi. Un punteggio estetico appreso non può essere ottimizzato analiticamente, e i modelli estetici esistenti erano addestrati a confrontare ritagli di una stessa immagine, non viste da luoghi diversi.

Soluzione proposta

Lo scatto della foto è formulato come un POMDP: l'agente vede solo la vista attuale della fotocamera, avanza o arretra di 0,25 m, ruota di 10°, 30° o 90°, oppure scatta la foto. Una policy actor-critic con memoria LSTM è addestrata con PPO in AI Habitat su scene Gibson, ricompensata dalla variazione del punteggio di un modello estetico ResNet18 addestrato su AVA e CPC con perdite aggiuntive per la robustezza a piccoli spostamenti e a un'esposizione scadente. La ricompensa di scatto è +1 solo se la foto supera una soglia locale fissata alla media più una deviazione standard dei punteggi delle 100 viste campionate più vicine.

Idee chiave

• I modelli estetici addestrati solo a ordinare ritagli di una stessa immagine ordinano male punti di vista diversi; addestrare sia su AVA sia su CPC con perdite di traslazione e di esposizione fornisce un valutatore adatto a una fotocamera in movimento.
• Modellare la ricompensa con la variazione per passo del punteggio estetico più un bonus di esplorazione decrescente è fondamentale; una ricompensa solo terminale è troppo sparsa.
• La memoria LSTM permette all'agente di evitare di riesplorare regioni scadenti e, sul robot, di imparare che un'azione ripetuta senza cambiamento di stato richiede un'azione diversa.
• Fissare la soglia di successo a partire dalle statistiche dei punteggi della regione locale stessa rende l'obiettivo indipendente dalle dimensioni della scena e dalla sua qualità complessiva.

Risultati principali

• Le foto scattate hanno superato la soglia estetica locale nell'81,7% ± 0,9 dei casi su 20 scene Gibson non viste e nel 77,8% ± 1,0 su 18 scene Replica.
• I migliori metodi di riferimento hanno raggiunto il 57,8% (apprendimento per imitazione) su Gibson e il 56,6% (selezione dei keyframe) su Replica; la regola dei terzi ha raggiunto il 19,1% e il 17,3%, la scelta casuale il 13,3% e il 14,3%.
• Il modello estetico ha ottenuto l'84,4% nell'ordinamento tra viste (AVA) contro il 62,2% di VEN, il 99,7% nell'ordinamento per esposizione contro l'81,0%, e un MSE di ritaglio minimo di 0,03 contro 0,29, con un piccolo costo nell'ordinamento dei ritagli (CPC 72,2% contro 75,8%).
• Su un Clearpath Jackal che ha scattato 64 foto in interni, 1792 giudizi su Mechanical Turk hanno dato una preferenza media di 0,63 ± 0,01 per la foto del robot rispetto alla vista iniziale (test t rispetto a 0.5, p < 0.05).
• Ablazioni su Gibson: rimuovere la LSTM ha fatto scendere il successo al 62,7%, usare solo le caratteristiche dell'ultimo strato al 62,3% e rimuovere entrambi i termini di modellazione della ricompensa al 69,3%.

Limiti

• Gli autori affermano che l'approccio dipende da ambienti simulati di alta qualità, che in alcuni domini possono essere più difficili da ottenere.
• Gli autori affermano che il comportamento del sistema dipende fortemente dalla funzione estetica scelta.
• Il movimento è limitato a passi planari discreti (traslazioni di 0,25 m e rotazioni di 10°/30°/90°); il controllo completo a 6 gradi di libertà, per esempio su un drone, è lasciato a lavori futuri.
• La valutazione nel mondo reale confronta la foto finale solo con la vista iniziale del robot, poiché una soglia estetica non può essere stimata senza un campionamento denso della scena reale.
• Sul robot la gestione delle collisioni è esterna: se l'azione scelta provocherebbe una collisione, la policy viene interrogata di nuovo finché non ne propone una valida.

Impatto sul settore

Finalista dell'IROS 2021 Best Entertainment and Amusement Paper Award, citato 15 volte. Gli autori rilasciano il codice sorgente su GitHub.

Abstract

Il processo di scattare una foto ben composta è difficile e richiede anni di esperienza per essere padroneggiato. Proponiamo una pipeline innovativa con cui un agente autonomo scatta automaticamente una fotografia estetica navigando all'interno di una regione locale di una scena. Invece dell'ottimizzazione classica su euristiche come la regola dei terzi, adottiamo uno stimatore estetico basato sui dati per valutare la qualità della foto. Un framework di apprendimento per rinforzo è usato per ottimizzare il modello rispetto alla metrica estetica appresa. Addestriamo il nostro modello in simulazione con scene di interni e dimostriamo che il nostro sistema è in grado di scattare foto estetiche sia in simulazione sia in ambienti del mondo reale su un robot terrestre. Per quanto ci risulta, questo è il primo sistema in grado di esplorare automaticamente un ambiente per scattare una foto estetica rispetto a uno stimatore estetico appreso. Il codice sorgente è su https://github.com/HadiZayer/AutoPhoto

Link

• arXiv 2109.09923: https://arxiv.org/abs/2109.09923
• DOI 10.48550/arXiv.2109.09923: https://doi.org/10.48550/arXiv.2109.09923
• PDF: https://arxiv.org/pdf/2109.09923v1
• Codice: https://github.com/HadiZayer/AutoPhoto