Joint 3D Proposal Generation and Object Detection from View Aggregation

著者: Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, Steven Waslander · IROS 2018

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

候補ネットワークと検出器の両方で LIDAR の鳥瞰図特徴と画像特徴を融合し、明示的な向きベクトルを回帰して ±π の向き誤差をなくす 2 段階の 3D 検出器。

重要な理由

候補段階で画像特徴を融合すると、LIDAR のみの候補段階では見逃してしまうクラスである歩行者と自転車の再現率が上がる。ネットワークは 1 フレームあたり 0.08 s、GPU メモリ 2 GB で動作し、著者らはこれを車両での使用に適したものとして示しており、カメラと LIDAR が異なる自分たちの車でも動かしている。

課題

疎な LIDAR 鳥瞰図マップ上では、歩行者は約 8 × 6 ピクセルしか占めないため、ダウンサンプリング後の特徴マップの 1 ピクセルには小さな物体の候補を出すのに十分な情報がない。MV3D などの以前の 3D 検出器もボックスの角から向きを推定するため、向きに ±π のあいまいさが残り、KITTI の 3D 指標はその誤差を罰しない。

提案手法

VGG16 ベースの 2 つの特徴抽出器が、6 チャネルの BEV マップと RGB 画像からフル解像度の特徴マップを生成する。領域提案ネットワークは、1 × 1 畳み込みでメモリを削減した後、両方のビューから各 3D アンカーの特徴を切り出してリサイズし、要素ごとの平均で融合する。第 2 段階のネットワークは、4 つの角と 2 つの高さからなる 10 値の符号化でボックスを回帰し、さらに正しい向きを選ぶために明示的な (cos θ, sin θ) 向きベクトルを回帰する。

主な知見

候補ネットワークに画像特徴を加えることは小さなクラスで最も効果がある：歩行者と自転車の再現率は上がるが、BEV マップ上で十分な面積を占める車では改善がない
1 ピクセルの特徴切り出しでは小さな物体には不十分である：1 ピクセルの切り出しでは AP が歩行者で 26.9%、自転車で 32.6% 低下し、車では 9.5% の低下だった
ボックスの角だけから推定した向きには ±π のあいまいさがあり、明示的な向きベクトルでこれを解消する
KITTI の AP 指標は IoU がしきい値を上回ったままの向きの反転を罰しないため、著者らは Average Heading Similarity（AHS）を提案している
切り出し前の 1 × 1 畳み込みにより、アンカー特徴の切り出しに要するビューごとのメモリが 256× 削減され、数万個のアンカーが数メガバイトに収まる

主な結果

KITTI 検証セット、車、moderate：3D AP 74.19%、AHS 73.97% で、MV3D は AP 72.35%、AHS 43.75%（表 1）。本文では MV3D に対する AHS の向上を 30.28%（moderate）と 27.54%（hard）とし、序論では車クラスで 29.46% としている
KITTI テストセット、車の 3D AP（easy/moderate/hard）：71.41 / 62.87 / 56.61 で、MV3D は 71.09 / 62.35 / 55.12。歩行者 29.45 / 23.42 / 22.22、自転車 35.94 / 29.04 / 26.44（表 2）
候補の再現率：車の 3D 再現率は候補 10 個で 86%、50 個で 91% で、MV3D は 300 個必要と報告していた。3DOP と Mono3D の車の最大再現率は 73.87% と 65.74%
融合 RPN 対 BEV のみの RPN：最終検出で歩行者の AP が +6.9%、自転車が +9.4%（表 3）
パラメータ数は約 3807 万（MV3D の約 37%）、1 フレームあたり 1862.8 億 FLOPs、TITAN Xp で 1 フレームあたり 0.08 s（MV3D より 4.5× 高速）、推論時の GPU メモリは 2 GB
順位：序論では AVOD は投稿時に KITTI の 3 クラスすべてで 3 位だったとし、結果の節では現在 3 クラスすべてで 3D と BEV の AP が 1 位としている

制限事項

KITTI のテストサーバーは AHS を計算しないため、向きに関する優位性は検証用の分割でのみ示されている
当時は歩行者と自転車の 3D 結果を示した公開手法がなかったため、3D 検出の比較は車のみである
テストセットでは MV3D との AP の差は小さく（moderate と hard で 0.52% と 1.49%）、easy の車の BEV AP では MV3D の方が高い（86.02 対 85.51）
歩行者と自転車の 3D AP は車の AP を大きく下回ったままである（moderate のテストで 23.42 と 29.04 対 62.87）
著者らの車両への搭載は定性的にのみ示されている

分野への影響

被引用数 1739。論文には定性的な結果の動画へのリンクがあるが、コードやデータの公開については記載がない。

概要

自動運転シナリオのための Aggregate View Object Detection ネットワークである AVOD を提示する。提案するニューラルネットワークアーキテクチャは、LIDAR 点群と RGB 画像を用いて特徴を生成し、それを 2 つのサブネットワーク、すなわち領域提案ネットワーク（RPN）と第 2 段階の検出ネットワークで共有する。提案する RPN は、マルチモーダルな特徴融合を行える新しいアーキテクチャを用い、道路シーン中の複数の物体クラスについて信頼性の高い 3D 物体候補を生成する。これらの候補を用いて、第 2 段階の検出ネットワークは、向き付き 3D バウンディングボックスの正確な回帰とカテゴリ分類を行い、3D 空間における物体の大きさ、向き、クラスを予測する。提案アーキテクチャは KITTI 3D 物体検出ベンチマーク [10] で最先端の結果を達成しつつ、少ないメモリ使用量でリアルタイムに動作することが示されており、自動運転車への搭載に適した候補となる。

リンク

arXiv 1712.02294: https://arxiv.org/abs/1712.02294
DOI https://doi.org/10.1109/iros.2018.8594049: https://doi.org/https://doi.org/10.1109/iros.2018.8594049
PDF: https://arxiv.org/pdf/1712.02294v1