Joint 3D Proposal Generation and Object Detection from View Aggregation

作者: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一種兩階段 3D 偵測器，在候選網路與偵測器中都融合光達（LIDAR）鳥瞰圖特徵與影像特徵，並迴歸一個明確的朝向向量，以消除 ±π 的方向誤差。

為何重要

在候選階段融合影像特徵可提高行人與自行車騎士的召回率，而這正是只用 LIDAR 的候選階段會漏掉的類別。此網路每幀執行 0.08 s，使用 2 GB 的 GPU 記憶體，作者認為適合在車輛上使用，並在自家車輛上以不同的相機與光達（LIDAR）運行。

問題

在稀疏的光達（LIDAR）鳥瞰圖上，一個行人只佔約 8 × 6 像素，因此降取樣後，單一特徵圖像素所含資訊太少，不足以為小物體提出候選。早期的 3D 偵測器（如 MV3D）也由邊界框角點推得朝向，使方向存在 ±π 的歧義，而 KITTI 的 3D 指標不會懲罰這種誤差。

提出的方法

兩個以 VGG16 為基礎的特徵擷取器，分別從六通道 BEV 圖與 RGB 影像產生全解析度特徵圖。區域候選網路先以 1 × 1 卷積降低記憶體用量，再從兩個視角為每個 3D 錨框裁切並縮放特徵，以逐元素平均融合。第二階段網路以 10 個值的「四個角點加兩個高度」編碼迴歸邊界框，另外迴歸一個明確的 (cos θ, sin θ) 方向向量，用來選出正確的朝向。

關鍵見解

• 在候選網路中加入影像特徵對小類別最重要：可提高行人與自行車騎士的召回率，但對汽車沒有增益，因為汽車在 BEV 圖上已佔據足夠面積
• 只取單一像素的特徵裁切對小物體不夠：1 像素裁切使行人的 AP 下降 26.9%、自行車騎士下降 32.6%，汽車則下降 9.5%
• 僅由邊界框角點推得的朝向存在 ±π 的歧義；明確的方向向量可以解決此問題
• KITTI 的 AP 指標不會懲罰 IoU 仍高於門檻的方向翻轉，因此作者提出平均朝向相似度（Average Heading Similarity, AHS）
• 在裁切前先做 1 × 1 卷積，使錨框特徵裁切的每視角記憶體減少 256×，因此數萬個錨框只需幾 MB 即可容納

主要結果

• KITTI 驗證集，汽車，中等難度：3D AP 74.19%、AHS 73.97%，MV3D 為 AP 72.35%、AHS 43.75%（表 1）；正文所列相對 MV3D 的 AHS 提升為 30.28%（中等）與 27.54%（困難），引言則寫汽車類別為 29.46%
• KITTI 測試集，汽車 3D AP（簡單/中等/困難）：71.41 / 62.87 / 56.61，MV3D 為 71.09 / 62.35 / 55.12；行人 29.45 / 23.42 / 22.22，自行車騎士 35.94 / 29.04 / 26.44（表 2）
• 候選召回率：汽車在 10 個候選時 3D 召回率為 86%，50 個時為 91%，而 MV3D 報告需要 300 個；3DOP 與 Mono3D 的最大汽車召回率分別為 73.87% 與 65.74%
• 融合式 RPN 對比僅用 BEV 的 RPN：最終偵測中行人 AP +6.9%，自行車騎士 +9.4%（表 3）
• 約 3807 萬個參數（約為 MV3D 的 37%），每幀 1862.8 億 FLOPs，在 TITAN Xp 上每幀 0.08 s（比 MV3D 快 4.5×），推論時使用 2 GB GPU 記憶體
• 排名：引言稱 AVOD 在投稿時於 KITTI 三個類別皆排名第三，結果一節則稱其目前在三個類別的 3D 與 BEV AP 上皆排名第一

限制

• KITTI 測試伺服器不計算 AHS，因此方向上的優勢只在驗證集上呈現
• 當時沒有已發表的方法提供行人與自行車騎士的 3D 結果，因此 3D 偵測比較僅限汽車
• 在測試集上與 MV3D 的 AP 差距很小（中等與困難分別為 0.52% 與 1.49%），且 MV3D 在簡單難度汽車上的 BEV AP 較高（86.02 對 85.51）
• 行人與自行車騎士的 3D AP 仍遠低於汽車（中等難度測試集上 23.42 與 29.04 對 62.87）
• 在作者車輛上的部署只以定性方式呈現

對領域的影響

1739 次引用。論文附上定性結果的影片連結；未提及程式碼或資料的釋出。

摘要

我們提出 AVOD，一種用於自動駕駛情境的聚合視角物體偵測（Aggregate View Object Detection）網路。所提出的神經網路架構使用光達（LIDAR）點雲與 RGB 影像產生特徵，並由兩個子網路共用：區域候選網路（RPN）與第二階段偵測網路。所提出的 RPN 採用一種新穎架構，能進行多模態特徵融合，為道路場景中的多個物體類別產生可靠的 3D 物體候選。利用這些候選，第二階段偵測網路執行準確的有方向 3D 邊界框迴歸與類別分類，以預測物體在 3D 空間中的範圍、方向與類別。結果顯示，我們提出的架構在 KITTI 3D 物體偵測基準 [10] 上達到最先進的結果，同時以低記憶體用量即時運行，因此適合部署在自動駕駛車輛上。

連結

• arXiv 1712.02294: https://arxiv.org/abs/1712.02294
• DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
• PDF: https://arxiv.org/pdf/1712.02294v1