Neural Radiance Field

• También llamado: NeRF, NeRFs, radiance field
• Categoría: Sensing › 3D maps & reconstruction
• Etiquetas: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

Una representación neuronal de escenas que asigna a una posición 3D y una dirección de visión un color y una densidad, entrenada a partir de imágenes con pose para poder renderizar nuevas vistas de la escena.

Definición

Campo de radiancia neuronal (Neural Radiance Field, NeRF) es una forma de representar una escena 3D con una red neuronal, presentada por Mildenhall et al. en 2020. La red recibe como entrada un punto 3D y una dirección de visión y devuelve un color y una densidad volumétrica en ese punto. Para renderizar una imagen desde una nueva pose de cámara, se lanza un rayo a través de cada píxel, la red se evalúa en muchos puntos de muestreo a lo largo del rayo y los colores se combinan mediante el renderizado volumétrico clásico, ponderados por la densidad.

Un NeRF se entrena a partir de un conjunto de imágenes de una escena con poses de cámara conocidas, que normalmente se estiman con herramientas de structure from motion como COLMAP. El entrenamiento ajusta la red para que las imágenes renderizadas coincidan con las fotografías reales. Como el proceso de renderizado es diferenciable, las fotografías por sí solas aportan supervisión suficiente; no se necesita ninguna verdad de referencia 3D. Una codificación posicional de las coordenadas de entrada permite a la red capturar los detalles finos.

El método original era lento de entrenar y de renderizar. Trabajos posteriores introdujeron representaciones de escena más rápidas, como rejillas hash multirresolución y rejillas de vóxeles, que redujeron el tiempo de entrenamiento de horas a minutos, y extendieron los NeRF a escenas grandes, escenas dinámicas e imágenes sin poses conocidas. 3D Gaussian Splatting, una representación explícita posterior, es hoy a menudo la opción elegida cuando se necesita renderizado en tiempo real.

Para la robótica, los NeRF ofrecen geometría y apariencia densas a partir de cámaras corrientes. La profundidad puede leerse del campo de densidad, pueden aprenderse campos semánticos o de características junto con el color, y la representación puede consultarse en cualquier punto. Entre sus limitaciones están la necesidad de muchas vistas con buenas poses, los artefactos en regiones vistas desde pocos puntos de vista y el coste de mantener el modelo actualizado a medida que cambia la escena.

Por qué importa

Los NeRF dan a los robots una forma de construir modelos 3D detallados de escenas y objetos solo a partir de imágenes de cámara, sin sensores de profundidad. Han abierto nuevos enfoques para el mapeo, la reconstrucción de objetos, la planificación de agarres y la simulación, y son un componente habitual en la investigación que conecta la percepción con la manipulación y la navegación.

Aplicaciones clave

• Reconstrucción 3D de escenas y objetos a partir de imágenes de cámara
• Renderizado de vistas nuevas para simulación y datos de entrenamiento sintéticos
• Mapeo denso para navegación e inspección
• Localización y conteo de objetos, como frutos, en escenas agrícolas
• Planificación de agarres a partir de la geometría reconstruida

En la práctica

Un equipo de robótica que usa NeRF normalmente captura un conjunto de imágenes con una cámara de mano, un dron o la propia cámara del robot, recupera las poses de cámara con COLMAP o a partir de la cinemática del robot y entrena un modelo con un marco como Nerfstudio. El campo entrenado se usa después fuera de línea, por ejemplo para extraer una malla o una nube de puntos, renderizar profundidad para la planificación de agarres, localizar o contar objetos, o producir vistas realistas para simulación y datos sintéticos. Como entrenar y actualizar sigue siendo costoso en comparación con el mapeo convencional, los NeRF se usan sobre todo para escenas estáticas o reconstrucciones puntuales, y los equipos comprueban la calidad de la reconstrucción desde puntos de vista no usados en el entrenamiento antes de fiarse de la geometría.

Ideas erróneas comunes

• Un NeRF almacena una malla 3D — almacena una función continua en los pesos de la red; las mallas o nubes de puntos deben extraerse después
• Los NeRF necesitan sensores de profundidad — se entrenan con imágenes RGB corrientes con poses de cámara conocidas
• Todos los NeRF renderizan en tiempo real — la formulación original es lenta; el uso en tiempo real depende de variantes aceleradas o de otras representaciones, como el Gaussian splatting

Quién debería saberlo

• Ingenieros de percepción que trabajan en reconstrucción 3D
• Investigadores en aprendizaje de robots que construyen simulaciones a partir de escenas reales
• Equipos de robótica agrícola y de inspección
• Estudiantes de visión por computador

Tecnologías relacionadas

• 3D Gaussian Splatting
• COLMAP
• Structure from Motion
• Nerfstudio
• Renderizado volumétrico (Volume Rendering)
• Campo de distancia con signo (Signed Distance Field)

Términos relacionados

• 3D Gaussian Splatting
• Point Cloud
• Depth Camera

Proyectos relacionados

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action

Vídeos

• NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile

Wikipedia

• Campo de radiancia neuronal