AutoPhoto: Aesthetic Photo Capture using Reinforcement Learning

Autoren: Hadi AlZayer, Hubert Lin, Kavita Bala · IROS 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein RL-Agent bewegt und dreht eine Kamera durch eine unbekannte Innenraumszene, bis ein gelerntes Ästhetikmodell die Ansicht hoch bewertet, und nimmt dann das Foto auf; trainiert in Habitat, ausgeführt auf einem Jackal-UGV.

Warum es wichtig ist

Die Arbeit zeigt, dass ein gelernter, datengetriebener Qualitätswert die Suche eines Roboters nach dem Blickpunkt durchgängig steuern kann, statt handgeschriebener Bildgestaltungsregeln, die an ein gewähltes Objekt gebunden sind. Dasselbe Muster aus gelerntem Bewerter, gedächtnisbasierter Policy und lokal adaptiver Schwelle lässt sich auf andere Aufgaben der aktiven Wahrnehmung wie Inspektion oder Immobilienfotografie übertragen, die die Autoren als Anwendungsfall nennen.

Problem

Ein gutes Foto zu komponieren heißt, die Kamera zu bewegen und zu drehen, bis die Ansicht stimmt, und das erfordert Übung. Bisherige automatische Bildgestaltung schneidet entweder ein festes Bild zu oder rahmt in der Drohnen-Kinematografie menschliche Motive mit Heuristiken wie der Drittelregel. Ein gelernter Ästhetikwert lässt sich nicht analytisch optimieren, und bestehende Ästhetikmodelle wurden darauf trainiert, Ausschnitte eines Bildes zu vergleichen, nicht Ansichten von verschiedenen Orten.

Lösungsansatz

Die Fotoaufnahme wird als POMDP formuliert: Der Agent sieht nur die aktuelle Kameraansicht, bewegt sich 0,25 m vor oder zurück, dreht sich um 10°, 30° oder 90° oder nimmt das Foto auf. Eine Actor-Critic-Policy mit LSTM-Gedächtnis wird mit PPO in AI Habitat auf Gibson-Szenen trainiert, belohnt durch die Wertänderung eines ResNet18-Ästhetikmodells, das auf AVA und CPC mit zusätzlichen Verlusten für Robustheit gegenüber kleinen Verschiebungen und schlechter Belichtung trainiert wurde. Die Aufnahmebelohnung beträgt nur dann +1, wenn das Foto eine lokale Schwelle übertrifft, die auf den Mittelwert plus eine Standardabweichung der Werte der 100 nächstgelegenen abgetasteten Ansichten gesetzt wird.

Wichtigste Erkenntnisse

Ästhetikmodelle, die nur darauf trainiert sind, Ausschnitte eines einzigen Bildes zu ranken, ranken unterschiedliche Blickpunkte schlecht; Training auf AVA und CPC mit Translations- und Belichtungsverlusten ergibt einen Bewerter, der zu einer sich bewegenden Kamera passt.
Die Belohnung mit der Änderung des Ästhetikwerts pro Schritt plus einem abklingenden Explorationsbonus zu formen, ist entscheidend; eine nur am Ende vergebene Belohnung ist zu spärlich.
Das LSTM-Gedächtnis lässt den Agenten vermeiden, schlechte Bereiche erneut zu erkunden, und auf dem Roboter lernen, dass eine wiederholte Aktion ohne Zustandsänderung eine andere Aktion erfordert.
Die Erfolgsschwelle aus der eigenen Wertestatistik des lokalen Bereichs festzulegen, macht das Ziel unabhängig von der Szenengröße und der Gesamtqualität der Szene.

Hauptergebnisse

Die aufgenommenen Fotos übertrafen die lokale Ästhetikschwelle in 81,7 % ± 0,9 der Fälle auf 20 ungesehenen Gibson-Szenen und in 77,8 % ± 1,0 auf 18 Replica-Szenen.
Die besten Baselines erreichten 57,8 % (Imitation Learning) auf Gibson und 56,6 % (Keyframe-Auswahl) auf Replica; die Drittelregel erreichte 19,1 % und 17,3 %, Zufall 13,3 % und 14,3 %.
Das Ästhetikmodell erzielte 84,4 % beim blickpunktübergreifenden Ranking (AVA) gegenüber 62,2 % für VEN, 99,7 % beim Belichtungsranking gegenüber 81,0 % und einen Minimal-Crop-MSE von 0,03 gegenüber 0,29, bei geringen Einbußen beim Ranking von Ausschnitten (CPC 72,2 % gegenüber 75,8 %).
Auf einem Clearpath Jackal, der 64 Innenraumfotos aufnahm, ergaben 1792 Mechanical-Turk-Urteile eine mittlere Präferenz von 0,63 ± 0,01 für das Foto des Roboters gegenüber der Anfangsansicht (t-Test gegen 0,5, p < 0.05).
Ablationen auf Gibson: Das Entfernen des LSTM senkte den Erfolg auf 62,7 %, die Verwendung nur der Merkmale der letzten Schicht auf 62,3 % und das Entfernen beider Terme der Belohnungsformung auf 69,3 %.

Einschränkungen

Die Autoren geben an, dass der Ansatz von hochwertigen simulierten Umgebungen abhängt, die in manchen Bereichen schwerer zu beschaffen sein können.
Die Autoren geben an, dass das Systemverhalten stark von der gewählten Ästhetikfunktion abhängt.
Die Bewegung ist auf diskrete ebene Schritte beschränkt (Translationen von 0,25 m und Drehungen um 10°/30°/90°); eine volle Steuerung mit 6 Freiheitsgraden, etwa auf einer Drohne, bleibt künftiger Arbeit überlassen.
Die Evaluation in der realen Welt vergleicht das endgültige Foto nur mit der Startansicht des Roboters, da sich eine Ästhetikschwelle ohne dichte Abtastung der realen Szene nicht schätzen lässt.
Auf dem Roboter wird die Kollisionsbehandlung extern erledigt: Würde die gewählte Aktion zu einer Kollision führen, wird die Policy erneut abgefragt, bis sie eine gültige vorschlägt.

Wirkung auf das Fachgebiet

Finalist für den IROS 2021 Best Entertainment and Amusement Paper Award, 15-mal zitiert. Die Autoren veröffentlichen den Quellcode auf GitHub.

Zusammenfassung

Ein gut komponiertes Foto aufzunehmen ist schwierig, und es braucht Jahre an Erfahrung, um es zu meistern. Wir schlagen eine neuartige Pipeline vor, mit der ein autonomer Agent automatisch ein ästhetisches Foto aufnimmt, indem er innerhalb eines lokalen Bereichs einer Szene navigiert. Statt klassischer Optimierung über Heuristiken wie die Drittelregel verwenden wir einen datengetriebenen Ästhetikschätzer zur Bewertung der Fotoqualität. Ein Framework für bestärkendes Lernen wird eingesetzt, um das Modell bezüglich der gelernten Ästhetikmetrik zu optimieren. Wir trainieren unser Modell in der Simulation mit Innenraumszenen und zeigen, dass unser System auf einem Bodenroboter sowohl in der Simulation als auch in realen Umgebungen ästhetische Fotos aufnehmen kann. Unseres Wissens ist dies das erste System, das eine Umgebung automatisch erkunden kann, um ein ästhetisches Foto bezüglich eines gelernten Ästhetikschätzers aufzunehmen. Der Quellcode ist unter https://github.com/HadiZayer/AutoPhoto verfügbar.

Open Source Robotics