Joint 3D Proposal Generation and Object Detection from View Aggregation

作者: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一种两阶段 3D 检测器，在候选网络和检测器中都融合 LIDAR 鸟瞰图特征与图像特征，并回归一个显式的朝向向量，以消除 ±π 的朝向误差。

为何重要

在候选阶段融合图像特征可提高行人和骑车人的召回率，而这两类正是仅用 LIDAR 的候选阶段会漏检的类别。该网络每帧运行 0.08 s，占用 2 GB GPU 显存，作者认为这适合在车辆上使用，并在他们自己的汽车上使用不同的相机和 LIDAR 运行了它。

问题

在稀疏的 LIDAR 鸟瞰图上，一个行人只占约 8 × 6 像素，因此下采样后，单个特征图像素包含的信息太少，不足以为小目标生成候选。早期的 3D 检测器（如 MV3D）也根据边界框角点推断朝向，使朝向存在 ±π 的歧义，而 KITTI 的 3D 指标并不惩罚这种误差。

提出的方法

两个基于 VGG16 的特征提取器分别从六通道 BEV 地图和 RGB 图像生成全分辨率特征图。区域候选网络在 1 × 1 卷积降低内存之后，从两个视图中为每个 3D 锚框裁剪并缩放特征，并通过逐元素平均进行融合。第二阶段网络以 10 个值的“四个角点加两个高度”编码回归边界框，并回归一个显式的 (cos θ, sin θ) 朝向向量，用于选出正确的朝向。

关键见解

向候选网络加入图像特征对小类别最为重要：它提高了行人和骑车人的召回率，但对汽车没有增益，因为汽车在 BEV 地图上占据的面积已足够大
单个像素的特征裁剪对小目标不够用：1 像素裁剪使行人的 AP 下降 26.9%、骑车人下降 32.6%，而汽车下降 9.5%
仅根据边界框角点推断的朝向存在 ±π 的歧义；显式的朝向向量可以消除这一歧义
KITTI 的 AP 指标不惩罚 IoU 仍高于阈值的朝向翻转，因此作者提出了平均朝向相似度（Average Heading Similarity, AHS）
在裁剪前使用 1 × 1 卷积，使锚框特征裁剪的每视图内存减少 256×，因此数万个锚框只需几兆字节即可容纳

主要结果

KITTI 验证集，汽车，中等难度：3D AP 74.19%、AHS 73.97%，而 MV3D 为 AP 72.35%、AHS 43.75%（表 1）；正文给出的相对 MV3D 的 AHS 提升为 30.28%（中等）和 27.54%（困难），引言中则为汽车类别 29.46%
KITTI 测试集，汽车 3D AP（简单/中等/困难）：71.41 / 62.87 / 56.61，MV3D 为 71.09 / 62.35 / 55.12；行人 29.45 / 23.42 / 22.22，骑车人 35.94 / 29.04 / 26.44（表 2）
候选召回率：汽车在 10 个候选下的 3D 召回率为 86%，50 个候选下为 91%，而 MV3D 报告需要 300 个；3DOP 和 Mono3D 的最大汽车召回率分别为 73.87% 和 65.74%
融合 RPN 对比仅用 BEV 的 RPN：在最终检测中，行人 AP +6.9%，骑车人 +9.4%（表 3）
约 3807 万个参数（约为 MV3D 的 37%），每帧 1862.8 亿 FLOPs，在 TITAN Xp 上每帧 0.08 s（比 MV3D 快 4.5×），推理时占用 2 GB GPU 显存
排名：引言称 AVOD 在提交时于 KITTI 全部三个类别中均排名第三，而结果部分称其目前在三个类别的 3D 和 BEV AP 上均排名第一

局限

KITTI 测试服务器不计算 AHS，因此朝向方面的优势只在验证集划分上得到展示
当时没有已发表的方法给出行人和骑车人的 3D 结果，因此 3D 检测的比较仅限于汽车
在测试集上与 MV3D 的 AP 差距很小（中等和困难难度上分别为 0.52% 和 1.49%），且 MV3D 在简单难度汽车上的 BEV AP 更高（86.02 对 85.51）
行人和骑车人的 3D AP 仍远低于汽车的 AP（中等难度测试集上 23.42 和 29.04 对 62.87）
在作者车辆上的部署仅以定性方式展示

对领域的影响

1739 次引用。论文附有定性结果的视频链接；未提及代码或数据的发布。

摘要

我们提出 AVOD，一种面向自动驾驶场景的聚合视图目标检测（Aggregate View Object Detection）网络。所提出的神经网络架构利用光探测和测距（LIDAR）点云和 RGB 图像生成特征，这些特征由两个子网络共享：一个区域候选网络（RPN）和一个第二阶段检测网络。所提出的 RPN 采用一种新颖的架构，能够进行多模态特征融合，为道路场景中的多个目标类别生成可靠的 3D 目标候选。利用这些候选，第二阶段检测网络执行精确的带朝向 3D 边界框回归和类别分类，以预测目标在 3D 空间中的尺寸、朝向和类别。结果表明，我们提出的架构在 KITTI 3D 目标检测基准 [10] 上取得了最先进的结果，同时以较低的内存占用实时运行，使其成为部署在自动驾驶车辆上的合适候选方案。

链接

arXiv 1712.02294: https://arxiv.org/abs/1712.02294
DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
PDF: https://arxiv.org/pdf/1712.02294v1