Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Truncated Signed Distance Function

  • 又稱: TSDF, truncated signed distance field
  • 類別: Sensing › 3D maps & reconstruction
  • 標籤: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception

一種體素地圖,只在表面周圍的薄帶內儲存到最近表面的有號距離,由多張深度影像融合而成,用來建立稠密的 3D 模型。

定義

截斷符號距離函數(truncated signed distance function,TSDF)在體素網格上以隱式方式表示 3D 表面。表面附近的每個體素儲存它到表面的有號距離:在表面前方(從感測器看過去是自由空間)為正,在表面後方為負,而表面本身就是零交越處。這些數值會被限幅,也就是截斷,在表面兩側各幾個體素寬的帶狀範圍內。遠離任何表面的體素不保存有用的距離,如此既節省運算,也避免帶雜訊的量測汙染遠處區域。

Curless 與 Levoy(1996)的體積融合方法提出了標準的更新方式。每來一張新的深度影像,攝影機視野內的每個體素都會投影到影像中,計算沿攝影機射線方向該體素與量得深度之間的距離並加以截斷,再把結果併入每個體素的加權移動平均。對多個視角取平均可以抵銷感測器雜訊,並補齊從不同角度看到的表面。KinectFusion(Newcombe 等人,2011)展示了以手持深度攝影機在 GPU 上即時執行此方法,後來的 InfiniTAM 與 Voxblox 等系統則使用體素雜湊,或只在表面附近配置的區塊,讓大型場景也能放進記憶體。網格以行進立方體演算法擷取,或以光線投射找出零交越處,用於渲染與追蹤。

TSDF 與完整的有號距離場相關,但兩者並不相同。由於距離是沿攝影機射線量測,並在截斷帶處被切掉,它們只在靠近表面處近似真正的歐氏距離,對遠離表面的空間則完全沒有資訊。需要在任何位置都知道到最近障礙物距離的規劃器,例如以梯度為基礎的軌跡最佳化器,通常會從 TSDF 計算出歐氏有號距離場,Voxblox 就是這麼做的。TSDF 主要是重建與融合的工具,而完整的距離場則是供規劃使用的查詢結構。

為何重要

TSDF 融合是把一連串帶雜訊的深度影像轉成乾淨、稠密 3D 模型最廣泛使用的方法。機器人用它重建物體以便抓取、建立導航用的地圖,並產生法線可靠的網格與點雲。

主要應用

  • 以 RGB-D 攝影機與深度攝影機進行稠密 3D 重建
  • 供抓取規劃使用的物體與場景模型
  • 微型飛行器與移動機器人的建圖
  • 建立供碰撞檢查使用的歐氏距離場
  • 為數位孿生與模擬資產產生網格

實際應用

一支裝有腕部深度攝影機的機器手臂沿一段短弧掃過雜亂的桌面,擷取約 20 張深度影格。每一影格的攝影機姿態來自正向運動學與手眼校正。這些影格被融合成體素為 3 到 5 mm、截斷距離為幾個體素的 TSDF,再將零交越處擷取為帶表面法線的點雲。抓取規劃器使用這個融合後的點雲,而不是單一影格,如此可消除遮擋造成的空洞並降低邊緣雜訊。如果手臂的校正有偏差,融合後的表面會出現重影或模糊,這通常是需要重做外部參數校正的第一個徵兆。

常見誤解

  • TSDF 和有號距離場是同一件事 — TSDF 只在表面附近儲存以射線為基礎的近似距離,而完整的距離場在任何位置都給出到最近表面的距離
  • TSDF 融合能修正姿態誤差 — 它假設攝影機姿態已知;錯誤的姿態會產生重影或拖曳模糊的表面
  • 體素越小,模型一定越好 — 非常小的體素耗用記憶體,且每個體素收到的量測較少,因此雜訊可能增加

誰需要了解

  • 3D 感知與建圖工程師
  • 為抓取建立場景模型的操作工程師
  • SLAM 與重建研究人員
  • 空中與移動機器人建圖流程的開發者

相關技術

  • KinectFusion
  • InfiniTAM
  • Voxblox
  • Open3D
  • 行進立方體演算法(Marching Cubes)
  • 體素雜湊(Voxel Hashing)

相關術語

  • Signed Distance Field
  • Marching Cubes
  • Depth Camera
  • Point Cloud
  • Surfel
  • Neural Implicit Representation

相關專案

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。