Truncated Signed Distance Function
- 又稱: TSDF, truncated signed distance field
- 類別: Sensing › 3D maps & reconstruction
- 標籤: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
一種體素地圖,只在表面周圍的薄帶內儲存到最近表面的有號距離,由多張深度影像融合而成,用來建立稠密的 3D 模型。
定義
截斷符號距離函數(truncated signed distance function,TSDF)在體素網格上以隱式方式表示 3D 表面。表面附近的每個體素儲存它到表面的有號距離:在表面前方(從感測器看過去是自由空間)為正,在表面後方為負,而表面本身就是零交越處。這些數值會被限幅,也就是截斷,在表面兩側各幾個體素寬的帶狀範圍內。遠離任何表面的體素不保存有用的距離,如此既節省運算,也避免帶雜訊的量測汙染遠處區域。
Curless 與 Levoy(1996)的體積融合方法提出了標準的更新方式。每來一張新的深度影像,攝影機視野內的每個體素都會投影到影像中,計算沿攝影機射線方向該體素與量得深度之間的距離並加以截斷,再把結果併入每個體素的加權移動平均。對多個視角取平均可以抵銷感測器雜訊,並補齊從不同角度看到的表面。KinectFusion(Newcombe 等人,2011)展示了以手持深度攝影機在 GPU 上即時執行此方法,後來的 InfiniTAM 與 Voxblox 等系統則使用體素雜湊,或只在表面附近配置的區塊,讓大型場景也能放進記憶體。網格以行進立方體演算法擷取,或以光線投射找出零交越處,用於渲染與追蹤。
TSDF 與完整的有號距離場相關,但兩者並不相同。由於距離是沿攝影機射線量測,並在截斷帶處被切掉,它們只在靠近表面處近似真正的歐氏距離,對遠離表面的空間則完全沒有資訊。需要在任何位置都知道到最近障礙物距離的規劃器,例如以梯度為基礎的軌跡最佳化器,通常會從 TSDF 計算出歐氏有號距離場,Voxblox 就是這麼做的。TSDF 主要是重建與融合的工具,而完整的距離場則是供規劃使用的查詢結構。
為何重要
TSDF 融合是把一連串帶雜訊的深度影像轉成乾淨、稠密 3D 模型最廣泛使用的方法。機器人用它重建物體以便抓取、建立導航用的地圖,並產生法線可靠的網格與點雲。
主要應用
- 以 RGB-D 攝影機與深度攝影機進行稠密 3D 重建
- 供抓取規劃使用的物體與場景模型
- 微型飛行器與移動機器人的建圖
- 建立供碰撞檢查使用的歐氏距離場
- 為數位孿生與模擬資產產生網格
實際應用
一支裝有腕部深度攝影機的機器手臂沿一段短弧掃過雜亂的桌面,擷取約 20 張深度影格。每一影格的攝影機姿態來自正向運動學與手眼校正。這些影格被融合成體素為 3 到 5 mm、截斷距離為幾個體素的 TSDF,再將零交越處擷取為帶表面法線的點雲。抓取規劃器使用這個融合後的點雲,而不是單一影格,如此可消除遮擋造成的空洞並降低邊緣雜訊。如果手臂的校正有偏差,融合後的表面會出現重影或模糊,這通常是需要重做外部參數校正的第一個徵兆。
常見誤解
- TSDF 和有號距離場是同一件事 — TSDF 只在表面附近儲存以射線為基礎的近似距離,而完整的距離場在任何位置都給出到最近表面的距離
- TSDF 融合能修正姿態誤差 — 它假設攝影機姿態已知;錯誤的姿態會產生重影或拖曳模糊的表面
- 體素越小,模型一定越好 — 非常小的體素耗用記憶體,且每個體素收到的量測較少,因此雜訊可能增加
誰需要了解
- 3D 感知與建圖工程師
- 為抓取建立場景模型的操作工程師
- SLAM 與重建研究人員
- 空中與移動機器人建圖流程的開發者
相關技術
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- 行進立方體演算法(Marching Cubes)
- 體素雜湊(Voxel Hashing)
相關術語
相關專案
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)