Neural Implicit Representation

Auch genannt: neural field, implicit neural representation, INR, coordinate-based network
Kategorie: Sensing › 3D maps & reconstruction
Schlagwörter: 3d-representation, neural-fields, mapping, deep-learning, slam

Eine Art, eine Form, Szene oder Karte als neuronales Netz zu speichern, das räumliche Koordinaten auf Werte wie Belegung, vorzeichenbehafteten Abstand, Dichte oder Farbe abbildet, sodass sie an jedem Punkt abgefragt werden kann.

Definition

Statt Geometrie explizit als Punkte, Voxel oder Netze zu speichern, speichert eine neuronale implizite Repräsentation (neural implicit representation) eine Funktion. Ein Netz, oft ein mehrschichtiges Perzeptron (MLP), nimmt eine 3D-Koordinate entgegen, manchmal mit einer Blickrichtung oder einem latenten Code, und gibt einen Wert an diesem Punkt zurück: eine Belegungswahrscheinlichkeit (Occupancy Networks), einen vorzeichenbehafteten Abstand (DeepSDF) oder eine Volumendichte und Farbe (NeRF). Die Oberfläche ist implizit: Sie ist als Niveaumenge der Funktion definiert, etwa als Nullniveau eines vorzeichenbehafteten Abstands, und kann per Volumenrendering oder Sphere Tracing gerendert oder mit Marching Cubes als Netz extrahiert werden.

Die Repräsentation ist kontinuierlich, sodass sie in jeder Auflösung abgefragt werden kann; ihr Speicherbedarf hängt von der Größe des Modells ab statt direkt vom Szenenvolumen; und sie ist differenzierbar, sodass sie über Rendering-Verluste aus Tiefe, LiDAR oder Bildern trainiert werden kann. Einfache MLPs tun sich mit feinen Details schwer und sind langsam zu trainieren und abzufragen. Positionskodierungen helfen bei Details, und hybride Repräsentationen speichern gelernte Merkmale in einem Gitter, etwa einem dichten oder dünn besetzten Voxelgitter oder dem Multi-Resolution-Hash-Gitter von Instant-NGP, und dekodieren sie mit einem kleinen Netz, wobei Speicher gegen Geschwindigkeit und Detail getauscht wird.

In der Robotik werden neuronale implizite Karten in SLAM-Systemen wie iMAP und NICE-SLAM für RGB-D-Eingaben und LONER für LiDAR eingesetzt, die das Kartennetz online optimieren, während sie die Sensorpose verfolgen. Sie dienen auch als Objektmodelle für das Greifen und als Abstandsabfragen für die Planung. Die Kosten sind real: Jede Szene muss trainiert werden, inkrementelles Training kann frühere Bereiche vergessen, wenn vergangene Keyframes nicht wieder eingespielt werden, und viele Punkte auszuwerten ist langsamer als ein Tabellenzugriff. Explizite Alternativen wie 3D Gaussian Splatting geben etwas Kontinuität auf und erhalten dafür viel schnelleres Rendering.

Warum es wichtig ist

Neuronale implizite Repräsentationen liefern kompakte, kontinuierliche und differenzierbare Karten, die viele Beobachtungen fusionieren und kleine Lücken füllen. Sie lassen lernbasierte Kartierung, Rendering und Planung ein gemeinsames Weltmodell nutzen, weshalb sie in Arbeiten zu SLAM, Manipulation und Simulation auftauchen.

Wichtige Anwendungen

Dichtes SLAM und Kartierung mit LiDAR- oder RGB-D-Sensoren
Objektformmodelle für die Griffplanung
Synthese neuer Ansichten für Simulation und Datenerzeugung
Abstands- und Kollisionsabfragen für die Bewegungsplanung
Formvervollständigung aus Teilbeobachtungen

In der Praxis

Ein LiDAR-SLAM-System stellt die Karte als Merkmalsgitter mit einem kleinen MLP-Dekoder dar, der die Dichte vorhersagt. Jeder neue Scan liefert Strahlen; das System tastet Punkte entlang einer Teilmenge dieser Strahlen ab und trainiert die Karte so, dass die aus der vorhergesagten Dichte gerenderte Tiefe mit der gemessenen Entfernung übereinstimmt, während es die Scanpose schätzt. Während des Trainings wird eine Menge vergangener Keyframes wieder eingespielt, damit ältere Teile der Karte nicht überschrieben werden. Nach der Kartierung wird das Feld auf einem Gitter ausgewertet und zur Inspektion mit Marching Cubes vernetzt oder während der Planung direkt nach Abständen abgefragt.

Häufige Missverständnisse

Neuronale implizite Karten haben keine explizite Struktur — die meisten Echtzeitsysteme kombinieren ein Merkmalsgitter oder eine Hashtabelle mit einem kleinen Netz, daher wächst der Speicher weiterhin mit der Szenengröße
Eine implizite Oberfläche lässt sich nicht in ein Netz umwandeln — sie ist eine Niveaumenge und kann mit Marching Cubes in jeder gewählten Auflösung extrahiert werden
Eine neuronale implizite Repräsentation ist dasselbe wie NeRF — NeRF ist ein Beispiel, das Dichte und Farbe vorhersagt; Belegungs- und Abstandsnetze sind andere
Kontinuierlich heißt unbegrenzt detailliert — Details werden durch Modellkapazität, Eingabekodierung und Trainingsdaten begrenzt

Wer das wissen sollte

Ingenieure für SLAM und Kartierung
Forschende in 3D-Vision
Forschende in der Manipulation, die gelernte Objektmodelle nutzen
Simulationsingenieure, die Szenenrekonstruktionen aufbauen

Videos

Computer Vision - Lecture 9.1 (Coordinate-based Networks: Implicit Neural Representations): Tübingen Machine Learning

Open Source Robotics