Range Image

• 又稱: range view, spherical range image
• 類別: Sensing › Perception outputs
• 標籤: lidar, 3d-perception, semantic-segmentation, point-cloud, data-representation

3D 距離掃描的 2D 影像，每個像素儲存沿一個光束方向量測到的距離，讓掃描具有可快速處理的影像網格。

定義

距離影像（range image）將一次 3D 掃描儲存為一個 2D 陣列，其中每個像素對應一個觀測方向，並保存沿該方向量測到的距離。對於旋轉式多線光達，列通常對應各道雷射光束（也就是仰角），行則對應繞旋轉軸的方位角，因此每個點依其方向的球面投影放進影像中。額外的通道通常保存 x、y、z 座標、回波強度以及有效性遮罩。

影像的排列方式讓鄰域關係的取得變得很便宜。在影像中相近的點，通常在空間中也相近，因此法向量、邊緣、地面分割與分群都可以用簡單的影像運算完成，不必在 3D 中進行最近鄰搜尋。它也讓標準的 2D 卷積網路能處理光達資料：SqueezeSeg 與 RangeNet++ 等網路為每個像素標上標籤，再把標籤投影回 3D 點。SuMa 與 SuMa++ 使用距離影像則是出於另一個原因：它們把面元地圖算繪成同樣的影像排列，使新的掃描能依像素位置與地圖進行關聯。

這種投影有其代價。當多個點落在同一個像素時，只會保留其中一個（通常是最近的那個），因此有些點必須事後依其鄰點來標註。沒有回波的像素（來自天空、玻璃或吸收性表面）需要遮罩。在物體邊界上，一個像素的鄰點可能位於深度相差甚遠的表面，導致標籤在前景與背景之間滲漏；RangeNet++ 在 3D 中加入 k 最近鄰清理步驟來減輕這個問題。距離影像與攝影機的深度影像（depth image）在投影方式與儲存的數值上都不同：深度攝影機使用針孔投影，通常儲存沿光軸的距離，而光達距離影像使用角度座標，儲存沿每道光束的距離。

為何重要

距離影像把稀疏、無序的光達點雲轉成稠密的網格，讓快速的影像演算法與卷積網路得以處理。許多即時的光達分割、里程計與壓縮流程都仰賴距離影像。

主要應用

• 以 2D 網路對光達掃描進行語意分割
• 光達 SLAM 中的投影式資料關聯
• 地面移除與障礙物分群
• 為光達里程計特徵估計法向量與邊緣
• 光達資料的壓縮與儲存

實際應用

某個自駕車團隊需要即時把每個光達點標註為道路、汽車、行人或植被。他們把每次掃描投影成距離影像，每道雷射對應一列，行數固定，並在五個通道中儲存距離、x、y、z 與強度。一個 2D 分割網路為每個像素預測類別，標籤再投影回各點，接著在 3D 中進行最近鄰投票，修正投影時被捨棄或在物體邊緣被誤標的點。同一張距離影像在下游也被重複使用，用於地面移除以及依連通像素區域將障礙物分群。

常見誤解

• 距離影像與攝影機深度影像相同 — 它採用角度投影而非針孔投影，像素儲存的是沿光束而非沿光軸的距離
• 投影會保留每一個點 — 共用同一像素的點會被捨棄，因此必須把標籤傳回這些點
• 相鄰像素一定對應相鄰的表面 — 在深度不連續處，相鄰像素可能相距很遠，造成標籤滲漏
• 距離影像只適用於旋轉式光達 — 任何具有規則光束方向網格的感測器，包括部分固態光達，都能以這種方式儲存

誰需要了解

• 光達感知工程師
• 自駕車分割團隊
• SLAM 與里程計開發人員
• 處理 3D 資料的機器學習工程師

相關技術

• RangeNet++
• SqueezeSeg
• 球面投影（Spherical Projection）
• 鳥瞰圖投影（Bird's-Eye-View Projection）
• Semantic KITTI

相關術語

• LIDAR
• Point Cloud
• Depth Camera
• Surfel
• LiDAR Odometry
• Semantic Map

相關專案

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO