Neural Radiance Field

• Aussi appelé: NeRF, NeRFs, radiance field
• Catégorie: Sensing › 3D maps & reconstruction
• Mots-clés: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

Une représentation neuronale de scène qui associe à une position 3D et une direction de vue une couleur et une densité, entraînée à partir d'images aux poses connues afin de pouvoir rendre de nouvelles vues de la scène.

Définition

Champ de radiance neuronal (Neural Radiance Field, NeRF) : manière de représenter une scène 3D avec un réseau de neurones, introduite par Mildenhall et al. en 2020. Le réseau prend en entrée un point 3D et une direction de vue, et produit une couleur et une densité volumique en ce point. Pour rendre une image depuis une nouvelle pose de caméra, on lance un rayon à travers chaque pixel, on évalue le réseau en de nombreux points échantillonnés le long du rayon, et on combine les couleurs par rendu volumique classique, pondéré par la densité.

Un NeRF est entraîné à partir d'un ensemble d'images d'une scène dont les poses de caméra sont connues, généralement estimées avec des outils de structure from motion comme COLMAP. L'entraînement ajuste le réseau pour que les images rendues correspondent aux photographies réelles. Comme le processus de rendu est différentiable, les photographies seules fournissent une supervision suffisante ; aucune vérité terrain 3D n'est nécessaire. Un encodage positionnel des coordonnées d'entrée permet au réseau de capturer les détails fins.

La méthode d'origine était lente à entraîner et à rendre. Des travaux ultérieurs ont introduit des représentations de scène plus rapides, comme les grilles de hachage multirésolution et les grilles de voxels, réduisant le temps d'entraînement de plusieurs heures à quelques minutes, et ont étendu les NeRF aux grandes scènes, aux scènes dynamiques et aux images sans poses connues. 3D Gaussian Splatting, une représentation explicite plus tardive, est désormais souvent choisi lorsque le rendu en temps réel est nécessaire.

Pour la robotique, les NeRF offrent une géométrie et une apparence denses à partir de caméras ordinaires. La profondeur peut être lue dans le champ de densité, des champs sémantiques ou de caractéristiques peuvent être appris en même temps que la couleur, et la représentation peut être interrogée en tout point. Les limites incluent le besoin de nombreuses vues aux poses bien estimées, des artefacts dans les régions vues depuis peu de points de vue, et le coût de la mise à jour du modèle lorsque la scène change.

Pourquoi c'est important

Les NeRF donnent aux robots un moyen de construire des modèles 3D détaillés de scènes et d'objets à partir de seules images de caméra, sans capteurs de profondeur. Ils ont ouvert de nouvelles approches pour la cartographie, la reconstruction d'objets, la planification de préhension et la simulation, et constituent une brique courante de la recherche qui relie la perception à la manipulation et à la navigation.

Applications principales

• Reconstruction 3D de scènes et d'objets à partir d'images de caméra
• Rendu de nouvelles vues pour la simulation et les données d'entraînement synthétiques
• Cartographie dense pour la navigation et l'inspection
• Localisation et comptage d'objets comme des fruits dans des scènes agricoles
• Planification de préhension à partir de la géométrie reconstruite

En pratique

Une équipe de robotique qui utilise des NeRF capture généralement un ensemble d'images avec une caméra tenue à la main, un drone ou la caméra du robot lui-même, retrouve les poses de caméra avec COLMAP ou à partir de la cinématique du robot, et entraîne un modèle avec un framework comme Nerfstudio. Le champ entraîné est ensuite utilisé hors ligne, par exemple pour extraire un maillage ou un nuage de points, rendre la profondeur pour la planification de préhension, localiser ou compter des objets, ou produire des vues réalistes pour la simulation et les données synthétiques. Comme l'entraînement et la mise à jour restent coûteux par rapport à la cartographie classique, les NeRF servent surtout pour des scènes statiques ou des reconstructions ponctuelles, et les équipes vérifient la qualité de la reconstruction depuis des points de vue non utilisés à l'entraînement avant de se fier à la géométrie.

Idées reçues

• Un NeRF stocke un maillage 3D — il stocke une fonction continue dans les poids du réseau ; les maillages ou nuages de points doivent être extraits ensuite
• Les NeRF ont besoin de capteurs de profondeur — ils sont entraînés à partir d'images RGB ordinaires aux poses de caméra connues
• Tout NeRF rend en temps réel — la formulation d'origine est lente ; l'usage en temps réel repose sur des variantes accélérées ou d'autres représentations comme le Gaussian splatting

Qui devrait le savoir

• Ingénieurs en perception travaillant sur la reconstruction 3D
• Chercheurs en apprentissage robotique qui construisent des simulations à partir de scènes réelles
• Équipes de robotique agricole et d'inspection
• Étudiants en vision par ordinateur

Technologies associées

• 3D Gaussian Splatting
• COLMAP
• Structure from Motion
• Nerfstudio
• Rendu volumique (Volume Rendering)
• Champ de distance signée (Signed Distance Field)

Termes associés

• 3D Gaussian Splatting
• Point Cloud
• Depth Camera

Projets associés

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action

Vidéos

• NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile