Range Image

• 又称: range view, spherical range image
• 类别: Sensing › Perception outputs
• 标签: lidar, 3d-perception, semantic-segmentation, point-cloud, data-representation

3D 距离扫描的 2D 图像，每个像素存储沿一个光束方向测得的距离，从而为扫描提供可快速处理的图像网格。

定义

距离图像（range image）把一次 3D 扫描存储为一个 2D 数组，其中每个像素对应一个观测方向，并保存沿该方向测得的距离。对于旋转式多线激光雷达，行通常对应各条激光束（即俯仰角），列对应绕旋转轴的方位角，因此每个点按照其方向的球面投影放入图像。额外的通道通常保存 x、y、z 坐标、回波强度以及有效性掩码。

图像布局使邻域关系的获取变得廉价。在图像中相近的点通常在空间中也相近，因此法向、边缘、地面分割和聚类都可以用简单的图像运算完成，而无需在 3D 中进行最近邻搜索。它还使标准的 2D 卷积网络能够处理激光雷达数据：SqueezeSeg 和 RangeNet++ 等网络为每个像素打标签，然后再把标签投影回 3D 点。SuMa 和 SuMa++ 使用距离图像则出于另一个原因：它们把面元地图渲染成同样的图像布局，从而可以按像素位置将新的扫描与地图进行关联。

这种投影是有代价的。当多个点落入同一个像素时，只保留其中一个（通常是最近的那个），因此有些点必须在之后根据其邻居来打标签。没有回波的像素（来自天空、玻璃或吸收性表面）需要被掩蔽。在物体边界处，一个像素的邻居可能位于深度相差很大的表面上，这会导致标签在前景和背景之间渗漏；RangeNet++ 在 3D 中加入了 k 近邻清理步骤来减轻这一问题。距离图像与相机的深度图像（depth image）在投影方式和存储的值上都不同：深度相机使用针孔投影，通常存储沿光轴的距离，而激光雷达距离图像使用角度坐标，存储沿每条光束的距离。

为何重要

距离图像把稀疏、无序的激光雷达点云变成稠密的网格，使快速的图像算法和卷积网络能够处理它们。许多实时的激光雷达分割、里程计和压缩流程都依赖于距离图像。

主要应用

• 用 2D 网络对激光雷达扫描进行语义分割
• 激光雷达 SLAM 中的投影式数据关联
• 地面去除与障碍物聚类
• 为激光雷达里程计特征估计法向和边缘
• 激光雷达数据的压缩与存储

实际应用

一个自动驾驶团队需要实时地把每个激光雷达点标注为道路、汽车、行人或植被。他们把每次扫描投影成距离图像，每条激光对应一行，列数固定，并在五个通道中存储距离、x、y、z 和强度。一个 2D 分割网络为每个像素预测类别，标签被投影回各个点，然后在 3D 中进行最近邻投票，修正在投影中被丢弃或在物体边缘被错误标注的点。同一幅距离图像还在下游被复用，用于地面去除以及按连通像素区域对障碍物进行聚类。

常见误解

• 距离图像与相机深度图像相同 — 它的投影是角度投影而不是针孔投影，像素存储的是沿光束而不是沿光轴的距离
• 投影会保留每一个点 — 共享同一像素的点会被丢弃，因此必须把标签传播回这些点
• 相邻像素总是对应相邻表面 — 在深度不连续处，相邻像素可能相距很远，这会导致标签渗漏
• 距离图像只适用于旋转式激光雷达 — 任何具有规则光束方向网格的传感器，包括一些固态激光雷达，都可以用这种方式存储

谁需要了解

• 激光雷达感知工程师
• 自动驾驶分割团队
• SLAM 与里程计开发人员
• 处理 3D 数据的机器学习工程师

相关技术

• RangeNet++
• SqueezeSeg
• 球面投影（Spherical Projection）
• 鸟瞰图投影（Bird's-Eye-View Projection）
• Semantic KITTI

相关术语

• LIDAR
• Point Cloud
• Depth Camera
• Surfel
• LiDAR Odometry
• Semantic Map

相关项目

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO