Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Truncated Signed Distance Function

  • Detto anche: TSDF, truncated signed distance field
  • Categoria: Sensing › 3D maps & reconstruction
  • Tag: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception

Una mappa a voxel che memorizza la distanza con segno dalla superficie più vicina solo entro una fascia sottile attorno a essa, fusa a partire da molte immagini di profondità per costruire modelli 3D densi.

Definizione

Una funzione di distanza con segno troncata (TSDF) (truncated signed distance function) rappresenta implicitamente una superficie 3D su una griglia di voxel. Ogni voxel vicino alla superficie memorizza una distanza con segno da essa, positiva davanti alla superficie (nello spazio libero visto dal sensore) e negativa dietro, e la superficie stessa è l'attraversamento dello zero. I valori sono limitati, o troncati, a una fascia di pochi voxel su ciascun lato. I voxel lontani da qualsiasi superficie non contengono alcuna distanza utile, il che risparmia calcolo ed evita di corrompere regioni distanti con misure rumorose.

Il metodo di fusione volumetrica di Curless e Levoy (1996) ha introdotto l'aggiornamento standard. Per ogni nuova immagine di profondità, ogni voxel nel campo visivo della telecamera viene proiettato nell'immagine, la distanza lungo il raggio della telecamera tra il voxel e la profondità misurata viene calcolata e troncata, e il risultato viene fuso in una media mobile pesata per voxel. Mediare molte viste cancella il rumore del sensore e completa superfici viste da angolazioni diverse. KinectFusion (Newcombe et al., 2011) ha mostrato tutto questo in tempo reale su una GPU con una telecamera di profondità portatile, e sistemi successivi come InfiniTAM e Voxblox usano l'hashing dei voxel o blocchi allocati solo vicino alle superfici, così che scene grandi entrino in memoria. Una mesh viene estratta con marching cubes, oppure l'attraversamento dello zero viene trovato con il raycasting per il rendering e il tracciamento.

Una TSDF è legata a un campo di distanza con segno (signed distance field) completo, ma non è la stessa cosa. Poiché le distanze sono misurate lungo i raggi della telecamera e tagliate alla fascia di troncamento, sono solo approssimazioni della vera distanza euclidea vicino alla superficie e non dicono nulla dello spazio lontano da essa. I pianificatori che hanno bisogno ovunque della distanza dall'ostacolo più vicino, come gli ottimizzatori di traiettoria basati sul gradiente, calcolano di solito un campo di distanza euclidea con segno a partire dalla TSDF, come fa Voxblox. La TSDF è soprattutto uno strumento di ricostruzione e fusione, mentre il campo completo è una struttura di interrogazione per la pianificazione.

Perché è importante

La fusione TSDF è il modo più usato per trasformare un flusso di immagini di profondità rumorose in un modello 3D pulito e denso. I robot la usano per ricostruire oggetti per la presa, costruire mappe per la navigazione e produrre mesh e nuvole di punti con normali affidabili.

Applicazioni principali

  • Ricostruzione 3D densa da telecamere RGB-D e di profondità
  • Modelli di oggetti e scene per la pianificazione della presa
  • Mappatura per micro veicoli aerei e robot mobili
  • Costruzione di campi di distanza euclidea per il controllo delle collisioni
  • Generazione di mesh per gemelli digitali e asset di simulazione

In pratica

Un manipolatore con una telecamera di profondità montata sul polso passa sopra un tavolo ingombro seguendo un breve arco e acquisisce circa 20 fotogrammi di profondità. La posa della telecamera di ogni fotogramma deriva dalla cinematica diretta e dalla calibrazione mano-occhio. I fotogrammi vengono fusi in una TSDF con voxel da 3 a 5 mm e una distanza di troncamento di pochi voxel, e l'attraversamento dello zero viene estratto come nuvola di punti con normali di superficie. Il pianificatore della presa lavora su questa nuvola fusa invece che su un singolo fotogramma, il che elimina i buchi dovuti alle occlusioni e riduce il rumore sui bordi. Se la calibrazione del braccio è sbagliata, le superfici fuse appaiono sdoppiate o sfocate, ed è spesso il primo segnale che la calibrazione estrinseca va ripetuta.

Idee sbagliate comuni

  • Una TSDF e un campo di distanza con segno sono la stessa cosa — una TSDF memorizza distanze approssimate, basate sui raggi, solo vicino alle superfici, mentre un campo completo dà ovunque la distanza dalla superficie più vicina
  • La fusione TSDF corregge gli errori di posa — presuppone che le pose della telecamera siano note; pose sbagliate producono superfici sdoppiate o sbavate
  • Voxel più piccoli danno sempre modelli migliori — voxel molto piccoli costano memoria e ognuno riceve meno misure, quindi il rumore può aumentare

Chi dovrebbe saperlo

  • Ingegneri di percezione 3D e mappatura
  • Ingegneri di manipolazione che costruiscono modelli di scena per la presa
  • Ricercatori di SLAM e ricostruzione
  • Sviluppatori di pipeline di mappatura per robot aerei e mobili

Tecnologie correlate

  • KinectFusion
  • InfiniTAM
  • Voxblox
  • Open3D
  • Marching cubes
  • Hashing dei voxel (Voxel Hashing)

Termini correlati

  • Signed Distance Field
  • Marching Cubes
  • Depth Camera
  • Point Cloud
  • Surfel
  • Neural Implicit Representation

Progetti correlati

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.