Neural Radiance Field

• Detto anche: NeRF, NeRFs, radiance field
• Categoria: Sensing › 3D maps & reconstruction
• Tag: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

Una rappresentazione neurale della scena che mappa una posizione 3D e una direzione di vista in colore e densità, addestrata su immagini con posa nota in modo da poter renderizzare nuove viste della scena.

Definizione

Neural Radiance Field (NeRF) (campo di radianza neurale) è un modo di rappresentare una scena 3D con una rete neurale, introdotto da Mildenhall et al. nel 2020. La rete riceve in ingresso un punto 3D e una direzione di vista e restituisce un colore e una densità volumetrica in quel punto. Per renderizzare un'immagine da una nuova posa della fotocamera, si lancia un raggio attraverso ogni pixel, si valuta la rete in molti punti di campionamento lungo il raggio e si combinano i colori con il classico rendering volumetrico, pesandoli per la densità.

Un NeRF viene addestrato a partire da un insieme di immagini di una scena con pose della fotocamera note, di solito stimate con strumenti di structure from motion come COLMAP. L'addestramento regola la rete in modo che le immagini renderizzate corrispondano alle fotografie reali. Poiché il processo di rendering è differenziabile, le sole fotografie forniscono una supervisione sufficiente; non serve alcun ground truth 3D. Una codifica posizionale delle coordinate di ingresso permette alla rete di cogliere i dettagli fini.

Il metodo originale era lento da addestrare e da renderizzare. Lavori successivi hanno introdotto rappresentazioni della scena più veloci, come griglie hash multirisoluzione e griglie di voxel, riducendo il tempo di addestramento da ore a minuti, e hanno esteso i NeRF a scene grandi, scene dinamiche e immagini senza pose note. 3D Gaussian Splatting, una rappresentazione esplicita successiva, è oggi spesso la scelta quando serve il rendering in tempo reale.

Per la robotica, i NeRF offrono geometria e aspetto densi a partire da normali fotocamere. La profondità si può leggere dal campo di densità, campi semantici o di feature si possono apprendere insieme al colore, e la rappresentazione si può interrogare in qualsiasi punto. Tra i limiti ci sono la necessità di molte viste con pose accurate, gli artefatti nelle regioni viste da pochi punti di vista e il costo di mantenere il modello aggiornato quando la scena cambia.

Perché è importante

I NeRF danno ai robot un modo per costruire modelli 3D dettagliati di scene e oggetti a partire dalle sole immagini delle fotocamere, senza sensori di profondità. Hanno aperto nuovi approcci alla mappatura, alla ricostruzione di oggetti, alla pianificazione della presa e alla simulazione, e sono un componente comune nella ricerca che collega la percezione alla manipolazione e alla navigazione.

Applicazioni principali

• Ricostruzione 3D di scene e oggetti da immagini di fotocamere
• Rendering di nuove viste per la simulazione e per dati di addestramento sintetici
• Mappatura densa per navigazione e ispezione
• Localizzazione e conteggio di oggetti, come i frutti, in scene agricole
• Pianificazione della presa a partire dalla geometria ricostruita

In pratica

Un team di robotica che usa i NeRF di solito acquisisce un insieme di immagini con una fotocamera a mano, un drone o la fotocamera del robot stesso, ricava le pose della fotocamera con COLMAP o dalla cinematica del robot e addestra un modello con un framework come Nerfstudio. Il campo addestrato viene poi usato offline, per esempio per estrarre una mesh o una nuvola di punti, renderizzare la profondità per la pianificazione della presa, localizzare o contare oggetti, o produrre viste realistiche per la simulazione e i dati sintetici. Poiché addestramento e aggiornamento restano costosi rispetto alla mappatura convenzionale, i NeRF si usano soprattutto per scene statiche o ricostruzioni una tantum, e i team verificano la qualità della ricostruzione da punti di vista non usati nell'addestramento prima di fidarsi della geometria.

Idee sbagliate comuni

• Un NeRF memorizza una mesh 3D — memorizza una funzione continua nei pesi della rete; mesh o nuvole di punti vanno estratte in seguito
• I NeRF hanno bisogno di sensori di profondità — si addestrano con normali immagini RGB con pose della fotocamera note
• Ogni NeRF renderizza in tempo reale — la formulazione originale è lenta; l'uso in tempo reale si basa su varianti accelerate o su altre rappresentazioni come il Gaussian splatting

Chi dovrebbe saperlo

• Ingegneri della percezione che lavorano sulla ricostruzione 3D
• Ricercatori di robot learning che costruiscono simulazioni da scene reali
• Team di robotica agricola e di ispezione
• Studenti di visione artificiale

Tecnologie correlate

• 3D Gaussian Splatting
• COLMAP
• Structure from Motion
• Nerfstudio
• Rendering volumetrico (Volume Rendering)
• Campo di distanza con segno (Signed Distance Field)

Termini correlati

• 3D Gaussian Splatting
• Point Cloud
• Depth Camera

Progetti correlati

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action

Video

• NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile