Neural Radiance Field

Auch genannt: NeRF, NeRFs, radiance field
Kategorie: Sensing › 3D maps & reconstruction
Schlagwörter: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

Eine neuronale Szenenrepräsentation, die eine 3D-Position und Blickrichtung auf Farbe und Dichte abbildet und aus Bildern mit bekannten Posen trainiert wird, sodass neue Ansichten der Szene gerendert werden können.

Definition

Neural Radiance Field (NeRF) ist eine Methode, eine 3D-Szene mit einem neuronalen Netz darzustellen, vorgestellt von Mildenhall et al. im Jahr 2020. Das Netz erhält einen 3D-Punkt und eine Blickrichtung als Eingabe und gibt an diesem Punkt eine Farbe und eine Volumendichte aus. Um ein Bild aus einer neuen Kamerapose zu rendern, wird durch jedes Pixel ein Strahl geworfen, das Netz an vielen Stichprobenpunkten entlang des Strahls ausgewertet, und die Farben werden mit klassischem Volume Rendering, nach Dichte gewichtet, kombiniert.

Ein NeRF wird aus einer Menge von Bildern einer Szene mit bekannten Kameraposen trainiert, die typischerweise mit Structure-from-Motion-Werkzeugen wie COLMAP geschätzt werden. Das Training passt das Netz so an, dass die gerenderten Bilder mit den realen Fotos übereinstimmen. Da der Rendering-Prozess differenzierbar ist, liefern die Fotos allein genug Überwachung; keine 3D-Ground-Truth ist nötig. Eine Positionskodierung der Eingabekoordinaten ermöglicht es dem Netz, feine Details zu erfassen.

Das ursprüngliche Verfahren war langsam in Training und Rendering. Spätere Arbeiten führten schnellere Szenenrepräsentationen ein, etwa Hash-Gitter mit mehreren Auflösungen und Voxelgitter, verkürzten die Trainingszeit von Stunden auf Minuten und erweiterten NeRFs auf große Szenen, dynamische Szenen und Bilder ohne bekannte Posen. 3D Gaussian Splatting, eine spätere explizite Repräsentation, wird heute oft gewählt, wo Echtzeit-Rendering nötig ist.

Für die Robotik bieten NeRFs dichte Geometrie und Erscheinung aus gewöhnlichen Kameras. Tiefe lässt sich aus dem Dichtefeld ablesen, semantische oder Merkmalsfelder können neben der Farbe gelernt werden, und die Repräsentation lässt sich an jedem Punkt abfragen. Zu den Einschränkungen zählen der Bedarf an vielen Ansichten mit gut bestimmten Posen, Artefakte in Bereichen, die nur aus wenigen Blickwinkeln gesehen wurden, und der Aufwand, das Modell aktuell zu halten, wenn sich die Szene ändert.

Warum es wichtig ist

NeRFs geben Robotern eine Möglichkeit, detaillierte 3D-Modelle von Szenen und Objekten allein aus Kamerabildern zu erstellen, ohne Tiefensensoren. Sie haben neue Ansätze für Kartierung, Objektrekonstruktion, Griffplanung und Simulation eröffnet und sind ein häufiger Baustein in der Forschung, die Wahrnehmung mit Manipulation und Navigation verbindet.

Wichtige Anwendungen

3D-Rekonstruktion von Szenen und Objekten aus Kamerabildern
Rendering neuer Ansichten für Simulation und synthetische Trainingsdaten
Dichte Kartierung für Navigation und Inspektion
Lokalisieren und Zählen von Objekten wie Früchten in landwirtschaftlichen Szenen
Griffplanung aus rekonstruierter Geometrie

In der Praxis

Ein Robotikteam, das NeRFs nutzt, nimmt typischerweise eine Bildserie mit einer Handkamera, einer Drohne oder der Kamera des Roboters selbst auf, bestimmt die Kameraposen mit COLMAP oder aus der Kinematik des Roboters und trainiert ein Modell mit einem Framework wie Nerfstudio. Das trainierte Feld wird dann offline genutzt, etwa um ein Mesh oder eine Punktwolke zu extrahieren, Tiefe für die Griffplanung zu rendern, Objekte zu lokalisieren oder zu zählen oder realistische Ansichten für Simulation und synthetische Daten zu erzeugen. Da Training und Aktualisierung im Vergleich zur herkömmlichen Kartierung noch aufwendig sind, werden NeRFs meist für statische Szenen oder einmalige Rekonstruktionen eingesetzt, und Teams prüfen die Rekonstruktionsqualität aus Blickwinkeln, die nicht im Training verwendet wurden, bevor sie der Geometrie vertrauen.

Häufige Missverständnisse

Ein NeRF speichert ein 3D-Mesh — es speichert eine kontinuierliche Funktion in den Netzgewichten; Meshes oder Punktwolken müssen nachträglich extrahiert werden
NeRFs brauchen Tiefensensoren — sie werden aus gewöhnlichen RGB-Bildern mit bekannten Kameraposen trainiert
Jedes NeRF rendert in Echtzeit — die ursprüngliche Formulierung ist langsam; der Echtzeiteinsatz beruht auf beschleunigten Varianten oder anderen Repräsentationen wie Gaussian Splatting

Wer das wissen sollte

Perception-Ingenieure, die an 3D-Rekonstruktion arbeiten
Forschende im Roboterlernen, die Simulationen aus realen Szenen erstellen
Teams in der Agrar- und Inspektionsrobotik
Studierende der Computer Vision

Videos

NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile

Open Source Robotics