Truncated Signed Distance Function
- 又称: TSDF, truncated signed distance field
- 类别: Sensing › 3D maps & reconstruction
- 标签: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
一种体素地图,只在表面周围的薄带内存储到最近表面的有符号距离,由多幅深度图像融合而成,用于构建稠密 3D 模型。
定义
截断符号距离函数(truncated signed distance function,TSDF)在体素网格上隐式地表示 3D 表面。表面附近的每个体素存储它到表面的有符号距离:在表面前方(从传感器看是自由空间)为正,在表面后方为负,而表面本身就是零交叉处。这些值被限幅,即截断,到表面两侧各几个体素宽的带内。远离任何表面的体素不保存有用的距离,这样既节省计算,又避免用带噪声的测量污染远处区域。
Curless 和 Levoy(1996)的体积融合方法提出了标准的更新方式。对于每一幅新的深度图像,相机视野内的每个体素都被投影到图像中,计算沿相机射线方向该体素与测得深度之间的距离并加以截断,再把结果并入每个体素的加权滑动平均值。对多个视角求平均可以抵消传感器噪声,并补全从不同角度看到的表面。KinectFusion(Newcombe 等,2011)展示了用手持深度相机在 GPU 上实时运行这一方法,而后来的 InfiniTAM 和 Voxblox 等系统使用体素哈希,或只在表面附近分配的体素块,使大场景也能放进内存。网格通过移动立方体算法提取,或者通过光线投射找到零交叉处,用于渲染和跟踪。
TSDF 与完整的有符号距离场相关,但并不相同。由于距离是沿相机射线测量的,并在截断带处被截掉,它们只在靠近表面处近似真实的欧氏距离,而对远离表面的空间则不提供任何信息。需要在任何位置都知道到最近障碍物距离的规划器,例如基于梯度的轨迹优化器,通常会从 TSDF 计算出一个欧氏有符号距离场,Voxblox 就是这样做的。TSDF 主要是一种重建与融合工具,而完整的距离场则是供规划使用的查询结构。
为何重要
TSDF 融合是把一串带噪声的深度图像变成干净、稠密的 3D 模型最常用的方法。机器人用它重建物体以便抓取、构建用于导航的地图,并生成法线可靠的网格和点云。
主要应用
- 基于 RGB-D 相机和深度相机的稠密 3D 重建
- 用于抓取规划的物体和场景模型
- 微型飞行器和移动机器人的建图
- 构建用于碰撞检测的欧氏距离场
- 为数字孪生和仿真资产生成网格
实际应用
一台装有腕部深度相机的操作臂沿一段短弧扫过杂乱的桌面,采集约 20 帧深度图像。每一帧的相机位姿来自正运动学和手眼标定。这些帧被融合进一个体素为 3 到 5 mm、截断距离为几个体素的 TSDF,再把零交叉处提取为带表面法线的点云。抓取规划器在这个融合后的点云上工作,而不是在单帧上,这样可以消除遮挡造成的空洞并减少边缘噪声。如果机械臂的标定有偏差,融合后的表面就会出现重影或模糊,这往往是需要重新进行外参标定的第一个迹象。
常见误解
- TSDF 和有符号距离场是一回事 — TSDF 只在表面附近存储基于射线的近似距离,而完整的距离场在任何位置都给出到最近表面的距离
- TSDF 融合能纠正位姿误差 — 它假设相机位姿已知;错误的位姿会产生重影或拖影的表面
- 体素越小,模型总是越好 — 非常小的体素占用内存,且每个体素接收到的测量更少,因此噪声可能增加
谁需要了解
- 3D 感知和建图工程师
- 为抓取构建场景模型的操作工程师
- SLAM 和重建研究人员
- 空中和移动机器人建图流程的开发者
相关技术
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- 移动立方体算法(Marching Cubes)
- 体素哈希(Voxel Hashing)
相关术语
相关项目
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)