Bird's-Eye View

• 又稱: BEV, top-down view
• 類別: Sensing › Perception outputs
• 標籤: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

一種俯視的網格表示，涵蓋機器人或車輛周圍的區域，由光達、攝影機或兩者共同建立，用於 3D 偵測、建圖與規劃。

定義

鳥瞰圖（bird's-eye view，BEV）把場景表示成從正上方看下去的樣子，也就是以機器人或車輛為中心、覆蓋地平面的 2D 網格。每個網格單元保存的是特徵而非單一數值：佔據狀態、點的最大或平均高度、點密度、光達強度、語意類別或學習得到的特徵向量。由於地面上的物體在這種視角中保持真實尺寸且彼此不重疊，BEV 網格很適合用來偵測車輛與行人、估計可通行空間，並把資訊傳給原本就在俯視地圖座標系中運作的規劃器。

以光達建立 BEV 時，是把點分箱到各個網格單元。人工設計的版本以數個高度切片通道加上密度、有時再加上強度來編碼每個單元，例如 AVOD 與 MV3D 偵測器；學習式版本如 PointPillars 則用一個小型網路把每個垂直柱體中的點編碼成一個特徵向量，產生一張偽影像，可交由標準的 2D 卷積網路處理。以攝影機建立時，這種視角必須另外建構出來，因為影像是透視投影。早期方法使用逆透視轉換，它假設地平面是平的。後來的學習式方法則估計深度或運用注意力機制，把影像特徵提升到 3D，再潑濺到 BEV 網格上，這也讓多台攝影機與光達融合成一個共享表示變得相當直接。

BEV 網格不同於高程地圖。高程地圖為腿足或越野移動儲存地形高度；BEV 則是供感知使用的通用俯視特徵網格，通常建立在地面接近平坦的道路或地板上。讓 BEV 方便好用的壓平處理也會遺失資訊：垂直結構被壓縮成少數幾個通道，懸伸的物體與其下方的東西合併在一起，而小型或遠處的物體在所選的解析度下可能只覆蓋很少的網格單元。

為何重要

BEV 已成為自動駕駛與戶外移動機器人中感知的共通工作空間。它讓偵測、追蹤、建圖與規劃共用同一個度量座標系，並讓多個感測器融合成單一表示變得簡單許多。

主要應用

• 自駕車的 3D 物體偵測
• 多攝影機融合與攝影機-光達融合
• 可行駛區域與車道分割
• 為規劃進行佔據與可通行空間預測
• 在車輛之間共享地圖的協同感知

實際應用

一台送貨機器人融合一台車頂光達與四台攝影機，用於人行道導航。40 m 以內的光達點被分箱到網格單元為 0.1 m 的網格中，並設有數個高度切片通道與點密度通道。攝影機特徵利用預測的深度分布提升到同一個網格上，兩張特徵圖串接之後，由卷積頭預測可行駛區域、行人邊界框及其朝向。規劃器直接讀取同一個網格。當團隊在測試路線中加入一段坡道時，他們發現地面升高處出現了虛假的障礙物，因為高度切片是相對於平坦地平面定義的，於是他們為每個網格單元加入地面高度估計來修正這個問題。

常見誤解

• BEV 影像就是一張從上方拍攝的攝影機照片 — 它是建構出來的度量網格，通常由光達建立，或透過把透視攝影機影像提升到 3D 來建立
• 攝影機 BEV 與光達 BEV 一樣精確 — 攝影機方法必須估計深度，因此位置誤差會隨距離增大
• BEV 保留了完整的 3D 場景 — 高度被壓縮成少數幾個通道，因此懸伸物與堆疊的物體會被合併
• 逆透視轉換在任何地方都適用 — 它假設地面是平的，會讓地面以上或斜坡上的任何東西變形

誰需要了解

• 自動駕駛感知工程師
• 移動機器人與戶外導航開發者
• 從事 3D 偵測的電腦視覺研究人員
• 感測器融合工程師

相關技術

• PointPillars
• Lift-Splat-Shoot
• 逆透視轉換（Inverse Perspective Mapping）
• 佔據網格（Occupancy Grid）
• 體素化（Voxelization）

相關術語

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

相關專案

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)