Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

著者: Runsheng Xu, Hao Xiang, Xin Xia, Xu Han, Jinlong Li, Jiaqi Ma · ICRA 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

オープンなシミュレーション V2V 知覚データセット（CARLA の 8 つの町とデジタル化した Culver City）、4 つの LiDAR 検出器 × 4 つの融合モードのベンチマーク、そして 4096× の圧縮でも AP を保つ注意型の特徴融合。

重要な理由

データセットは記録された設定ファイルと乱数シードから再現できるため、他の研究者が再生成したり、まったく同じ運転状況でセンサを追加したりできる。圧縮実験は、車両間の特徴共有に関する具体的な帯域幅の数値を示している。4096× の圧縮では、27 Mbps の V2V リンクで 1 メッセージに約 5 ms かかる。

課題

単独の自動運転車は、強く遮蔽された物体や遠くの物体を見落とす。それらの物体からの LiDAR の反射が疎すぎるためである。車両間で知覚データを共有すればこうした死角を埋められるが、発表された車車間知覚の研究は小規模、独自仕様、または未公開のデータセットを用いていたため、手法同士をベンチマークで比較できなかった。

提案手法

著者らは、CARLA と SUMO 上の OpenCDA 協調シミュレーションフレームワークで OPV2V を生成する。CARLA の 8 つの町と、実車のデータに合わせて RoadRunner で構築したロサンゼルスの Culver City のデジタルタウンにわたる 73 シーンで、フレームあたり 2-7 台のコネクテッド車両が存在し、各車両は 4 台のカメラ、64 チャンネルの LiDAR、GPS/IMU を搭載する。PIXOR、PointPillar、SECOND、VoxelNet を用いて、融合なし、早期、後期、中間の各融合をベンチマークし、共有特徴をエンコーダ・デコーダで圧縮し、各車両が同じ空間位置について保持する特徴に対する自己注意で融合する中間融合パイプラインを提案する。

主な知見

  • 両方のテストセットで、すべての検出器と融合戦略について、車両間でデータを共有すると IoU 0.7 での AP が単一車両の検出より向上する。論文は少なくとも 10% の向上を報告している。
  • 早期融合は、生のセンサ計測をより多く保持するため、一般に後期融合より優れる。
  • 注意型中間融合は、両方のテストセットで 4 つの検出器すべてについて最良の AP を与えるが、Culver City での PIXOR は例外で、そこでは早期融合のほうが高い。
  • 密集した交差点では、コネクテッド車両の数とともに AP が向上するが、4 台を超えると向上は頭打ちになる。4 つの視点ですでに死角の大部分をカバーしているためである。
  • すべてのモデルは、CARLA の町よりも Culver City のデジタルタウンでスコアが低く、著者らはこれを、より現実的で混雑したラッシュアワーの交通と、それによるドメインギャップによるものとしている。

主な結果

  • データセット：73 シーン、11,464 フレーム（すべてのコネクテッド車両を数えると約 40K）、232,913 個のアノテーション付き 3D 車両ボックス、249.4 GB、フレームあたり平均 2.89 台のコネクテッド車両（最小 2、最大 7）。v1 のアブストラクトは 111,464 フレームとしており、v1 の本文、Table I、6764/1981/2719 の分割における 11,464 と矛盾する。現在の arXiv のアブストラクトは 11,464 としている。
  • 注意型中間融合を用いた VoxelNet：CARLA の町で IoU 0.5 / 0.7 において AP 0.906 / 0.864、Culver City で 0.854 / 0.775。融合なしでは 0.688 / 0.526 と 0.605 / 0.431。
  • PointPillar での中間融合：0.908 / 0.815（CARLA）、0.854 / 0.735（Culver City）。SECOND では 0.893 / 0.826 と 0.875 / 0.760。
  • 例外：Culver City での PIXOR は、早期融合で 0.734 / 0.558、中間融合で 0.716 / 0.549。
  • 4096× の圧縮率では、VoxelNet の中間融合は IoU 0.7 で AP が約 3% 低下するが、依然として早期融合と後期融合を上回る。27 Mbps での伝送時間は約 5 ms。
  • 16 のモデルすべての学習に、4 枚の RTX 3090 GPU で 14 日を要した。学習/検証/テストの分割は 6764/1981/2719 フレーム。

制限事項

  • データセットは現在、車両検出タスクのみを扱っている。より多くのタスクとセンサ構成は今後の課題とされている。
  • データはシミュレーションである。実世界とのつながりは、デジタルタウンで再現した 4 つの Culver City のシーンの約 600 フレームで、検証にのみ用いられており、実世界データの追加は計画段階で、実施されていない。
  • CARLA の町で学習したモデルは Culver City でスコアが低く、現実的な交通に対するドメインギャップを示している。
  • ベンチマークは LiDAR 検出器のみを用いている。マルチモーダル融合と路車間の設定は今後の課題とされている。
  • 5 ms という伝送の数値は、引用された V2V プロトコルの概説にある 300 m での 27 Mbps のブロードキャストレートから計算したもので、測定値ではない。

分野への影響

被引用数 652。論文はデータセット生成コードを OpenCDA リポジトリ（データ収集ブランチ）で公開し、データセット、ベンチマーク手法、コードをプロジェクトページで公開するとしている。公式プロジェクトページはデータと OpenCOOD コードリポジトリにリンクしている。

概要

自動運転技術において、車車間（Vehicle-to-Vehicle）通信を用いて知覚性能を向上させることが近年大きな注目を集めている。しかし、アルゴリズムをベンチマークするための適切なオープンデータセットがないため、協調知覚技術の開発と評価は困難であった。そこで我々は、車車間知覚のための初の大規模なオープンのシミュレーションデータセットを提示する。これは 70 を超える興味深いシーン、11,464 フレーム、232,913 個のアノテーション付き 3D 車両バウンディングボックスを含み、CARLA の 8 つの町と、ロサンゼルスの Culver City のデジタルタウンから収集された。次に、合計 16 の実装モデルからなる包括的なベンチマークを構築し、最先端の LiDAR 検出アルゴリズムを用いて、いくつかの情報融合戦略（すなわち早期、後期、中間融合）を評価する。さらに、複数のコネクテッド車両からの情報を集約する新しい注意型中間融合（Attentive Intermediate Fusion）パイプラインを提案する。実験により、提案パイプラインは既存の 3D LiDAR 検出器に容易に統合でき、大きな圧縮率でも優れた性能を達成することを示す。より多くの研究者が車車間知覚を研究するよう促すため、データセット、ベンチマーク手法、関連するすべてのコードを https://mobility-lab.seas.ucla.edu/opv2v/ で公開する。

リンク

  • arXiv 2109.07644: https://arxiv.org/abs/2109.07644
  • DOI https://doi.org/10.1109/icra46639.2022.9812038: https://doi.org/https://doi.org/10.1109/icra46639.2022.9812038
  • PDF: https://arxiv.org/pdf/2109.07644v1
  • コード: https://github.com/DerrickXuNu/OpenCOOD
  • プロジェクトページ: https://mobility-lab.seas.ucla.edu/opv2v/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。