Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Truncated Signed Distance Function

  • Auch genannt: TSDF, truncated signed distance field
  • Kategorie: Sensing › 3D maps & reconstruction
  • Schlagwörter: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception

Eine Voxelkarte, die den vorzeichenbehafteten Abstand zur nächsten Oberfläche nur innerhalb eines dünnen Bandes um sie herum speichert und aus vielen Tiefenbildern fusioniert wird, um dichte 3D-Modelle zu erstellen.

Definition

Eine abgeschnittene vorzeichenbehaftete Distanzfunktion (truncated signed distance function, TSDF) stellt eine 3D-Oberfläche implizit auf einem Voxelgitter dar. Jedes Voxel nahe der Oberfläche speichert einen vorzeichenbehafteten Abstand zu ihr, positiv vor der Oberfläche (im freien Raum, vom Sensor aus gesehen) und negativ dahinter, und die Oberfläche selbst ist der Nulldurchgang. Die Werte werden auf ein Band von wenigen Voxeln zu beiden Seiten begrenzt, also abgeschnitten. Voxel fern jeder Oberfläche enthalten keinen nützlichen Abstand, was Rechenaufwand spart und verhindert, dass entfernte Bereiche durch verrauschte Messungen verfälscht werden.

Das volumetrische Fusionsverfahren von Curless und Levoy (1996) führte die Standardaktualisierung ein. Für jedes neue Tiefenbild wird jedes Voxel im Sichtbereich der Kamera ins Bild projiziert, der Abstand entlang des Kamerastrahls zwischen dem Voxel und der gemessenen Tiefe berechnet und abgeschnitten, und das Ergebnis wird in einen gewichteten gleitenden Mittelwert pro Voxel eingerechnet. Die Mittelung über viele Ansichten hebt Sensorrauschen auf und füllt Oberflächen, die aus verschiedenen Winkeln gesehen wurden. KinectFusion (Newcombe et al., 2011) zeigte dies in Echtzeit auf einer GPU mit einer handgeführten Tiefenkamera, und spätere Systeme wie InfiniTAM und Voxblox verwenden Voxel-Hashing oder nur in Oberflächennähe allozierte Blöcke, damit große Szenen in den Speicher passen. Ein Mesh wird mit Marching Cubes extrahiert, oder der Nulldurchgang wird für Rendering und Tracking per Raycasting bestimmt.

Eine TSDF ist mit einem vollständigen vorzeichenbehafteten Distanzfeld (signed distance field) verwandt, aber nicht dasselbe. Da die Abstände entlang der Kamerastrahlen gemessen und am Abschneideband gekappt werden, sind sie nahe der Oberfläche nur Näherungen des wahren euklidischen Abstands und sagen nichts über den Raum fern von ihr aus. Planer, die überall den Abstand zum nächsten Hindernis benötigen, etwa gradientenbasierte Trajektorienoptimierer, berechnen aus der TSDF meist ein euklidisches vorzeichenbehaftetes Distanzfeld, wie es Voxblox tut. Die TSDF ist hauptsächlich ein Werkzeug für Rekonstruktion und Fusion, während das vollständige Feld eine Abfragestruktur für die Planung ist.

Warum es wichtig ist

TSDF-Fusion ist der am weitesten verbreitete Weg, einen Strom verrauschter Tiefenbilder in ein sauberes, dichtes 3D-Modell zu verwandeln. Roboter nutzen sie, um Objekte für das Greifen zu rekonstruieren, Karten für die Navigation zu erstellen und Meshes und Punktwolken mit verlässlichen Normalen zu erzeugen.

Wichtige Anwendungen

  • Dichte 3D-Rekonstruktion aus RGB-D- und Tiefenkameras
  • Objekt- und Szenenmodelle für die Griffplanung
  • Kartierung für Kleinstfluggeräte und mobile Roboter
  • Aufbau euklidischer Distanzfelder für die Kollisionsprüfung
  • Mesh-Erzeugung für digitale Zwillinge und Simulations-Assets

In der Praxis

Ein Manipulator mit einer am Handgelenk montierten Tiefenkamera fährt entlang eines kurzen Bogens über einen vollgestellten Tisch und nimmt dabei rund 20 Tiefenbilder auf. Die Kamerapose jedes Bildes stammt aus der Vorwärtskinematik und der Hand-Auge-Kalibrierung. Die Bilder werden zu einer TSDF mit Voxeln von 3 bis 5 mm und einem Abschneideabstand von einigen Voxeln fusioniert, und der Nulldurchgang wird als Punktwolke mit Oberflächennormalen extrahiert. Der Griffplaner arbeitet auf dieser fusionierten Wolke statt auf einem einzelnen Bild, was Löcher durch Verdeckung beseitigt und Kantenrauschen verringert. Ist die Kalibrierung des Arms fehlerhaft, erscheinen die fusionierten Oberflächen doppelt oder unscharf, was oft das erste Anzeichen dafür ist, dass die extrinsische Kalibrierung wiederholt werden muss.

Häufige Missverständnisse

  • Eine TSDF und ein vorzeichenbehaftetes Distanzfeld sind dasselbe — eine TSDF speichert genäherte, strahlbasierte Abstände nur nahe an Oberflächen, während ein vollständiges Feld überall den Abstand zur nächsten Oberfläche angibt
  • TSDF-Fusion korrigiert Posenfehler — sie setzt bekannte Kameraposen voraus; falsche Posen erzeugen doppelte oder verschmierte Oberflächen
  • Kleinere Voxel ergeben immer bessere Modelle — sehr kleine Voxel kosten Speicher und erhalten jeweils weniger Messungen, sodass das Rauschen zunehmen kann

Wer das wissen sollte

  • Ingenieure für 3D-Wahrnehmung und Kartierung
  • Manipulationsingenieure, die Szenenmodelle für das Greifen erstellen
  • Forschende in SLAM und Rekonstruktion
  • Entwickler von Kartierungs-Pipelines für Luft- und mobile Roboter

Verwandte Technologien

  • KinectFusion
  • InfiniTAM
  • Voxblox
  • Open3D
  • Marching Cubes
  • Voxel-Hashing (Voxel Hashing)

Verwandte Begriffe

  • Signed Distance Field
  • Marching Cubes
  • Depth Camera
  • Point Cloud
  • Surfel
  • Neural Implicit Representation

Verwandte Projekte

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.