Bird's-Eye View

• 又称: BEV, top-down view
• 类别: Sensing › Perception outputs
• 标签: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

一种俯视的网格表示，覆盖机器人或车辆周围的区域，由激光雷达、相机或两者共同构建，用于 3D 检测、建图和规划。

定义

鸟瞰图（bird's-eye view，BEV）把场景表示为从正上方看到的样子，即以机器人或车辆为中心、覆盖地平面的一个 2D 网格。每个单元格保存的是特征而不是单个数值：占据情况、点的最大或平均高度、点密度、激光雷达强度、语义类别或学习得到的特征向量。由于地面上的物体在这种视图中保持其真实尺寸且互不重叠，BEV 网格很适合用来检测车辆和行人、估计可通行空间，并把信息传给一个本来就在俯视地图坐标系中工作的规划器。

基于激光雷达时，BEV 通过把点分箱到各个单元格来构建。手工设计的版本用若干高度切片通道加上密度、有时还有强度来编码每个单元格，例如 AVOD 和 MV3D 检测器；学习型版本如 PointPillars 则用一个小网络把每个竖直柱体中的点编码成一个特征向量，生成一幅伪图像，可以由标准的 2D 卷积网络处理。基于相机时，这种视图必须构造出来，因为图像是透视投影。早期方法使用逆透视变换，它假设地平面是平坦的。后来的学习型方法估计深度或使用注意力机制，把图像特征提升到 3D 并投溅到 BEV 网格上，这也使得把多个相机和激光雷达融合到一个共享表示中变得很直接。

BEV 网格不同于高程地图。高程地图为腿足或越野运动存储地形高度；BEV 则是用于感知的通用俯视特征网格，通常建立在地面接近平坦的道路或地板上。使 BEV 方便好用的压平操作也会丢失信息：竖直结构被压缩成少数几个通道，悬垂的物体与其下方的东西合并在一起，而小的或远处的物体在所选分辨率下可能只覆盖很少的单元格。

为何重要

BEV 已经成为自动驾驶和室外移动机器人中感知的通用工作空间。它让检测、跟踪、建图和规划共享同一个度量坐标系，并使把多个传感器融合成单一表示变得简单得多。

主要应用

• 自动驾驶车辆的 3D 目标检测
• 多相机融合以及相机与激光雷达融合
• 可行驶区域和车道分割
• 为规划进行占据和可通行空间预测
• 在车辆之间共享地图的协同感知

实际应用

一台配送机器人融合一台车顶激光雷达和四台相机进行人行道导航。40 m 以内的激光雷达点被分箱到单元格为 0.1 m 的网格中，设有若干高度切片通道和点密度通道。相机特征利用预测的深度分布提升到同一网格上，两幅特征图拼接后，由一个卷积头预测可行驶区域、行人边界框及其朝向。规划器直接读取同一个网格。当团队在测试路线上加入一段坡道时，他们发现地面升高的地方出现了虚假的障碍物，因为高度切片是相对于平坦地平面定义的，于是他们为每个单元格加入地面高度估计来解决这个问题。

常见误解

• BEV 图像就是一张从上方拍摄的相机照片 — 它是一个构造出来的度量网格，通常由激光雷达构建，或通过把透视相机图像提升到 3D 来构建
• 相机 BEV 和激光雷达 BEV 一样精确 — 相机方法必须估计深度，因此位置误差会随距离增大
• BEV 保留了完整的 3D 场景 — 高度被压缩成少数几个通道，因此悬垂物和堆叠的物体会被合并
• 逆透视变换在任何地方都适用 — 它假设地面平坦，会使地面以上或斜坡上的任何东西发生畸变

谁需要了解

• 自动驾驶感知工程师
• 移动机器人和室外导航开发者
• 从事 3D 检测的计算机视觉研究人员
• 传感器融合工程师

相关技术

• PointPillars
• Lift-Splat-Shoot
• 逆透视变换（Inverse Perspective Mapping）
• 占据栅格（Occupancy Grid）
• 体素化（Voxelization）

相关术语

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

相关项目

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)