Cooperative Perception

• 別名: collaborative perception, V2X cooperative perception, V2V cooperative perception
• カテゴリ: Learning & autonomy › Multi-robot
• タグ: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

複数の車両、ロボット、路側ユニットがセンサーデータや検出結果を共有する知覚。これにより各者は遮蔽物の向こう側や自身のセンサー範囲の外を見ることができる。

定義

協調知覚（Cooperative perception）は、複数のエージェントがそれぞれの感知した情報を組み合わせることを可能にする。トラックにさえぎられて歩行者が見えない車でも、その歩行者が見える別の車両や路側センサーがデータを共有すれば、歩行者を検出できる。各エージェントは死角のカバー、より長い実効距離、同じ物体に対する複数の視点を得られ、どの単一エージェントにもよく見えない物体の検出と位置推定が改善される。道路車両の分野では、これは通常、車車間（V2V）、路車間（V2I）、またはより一般に V2X 協調知覚として論じられる。同じ考え方は移動ロボットやドローンのチームにも当てはまる。

システムは通常、何を共有するかによって分類される。早期融合（Early fusion）は、LiDAR 点群のような生のセンサーデータや軽く処理したデータを送る。最も多くの情報が保たれるが、必要な帯域も最も大きい。後期融合（Late fusion）は、3D バウンディングボックスのような最終的な検出結果だけを送る。安価だが情報が失われ、各エージェント自身の検出器に依存する。中間融合（Intermediate fusion）は、多くの場合鳥瞰図のグリッドとして、圧縮した学習済み特徴量を送り、受信側でニューラルネットワークによって融合する。帯域と精度のバランスがとれるため、学習ベースのシステムでは一般的になっている。

協調知覚はセンサーフュージョン（sensor fusion）と密接に関係しているが、単一プラットフォームでの融合にはない問題が加わる。共有データを位置合わせするには、エージェントが互いの相対姿勢を知っていなければならないので、自己位置推定の誤差がそのまま各エージェントの見ているもののずれになる。メッセージは遅延を伴って届くため、運動を考慮して補償しなければならない。通信帯域は限られており、リンクが切れることもある。エージェントは異なるセンサーやモデルを搭載していることがあり、共有データは信頼できるものでなければならないため、セキュリティや、故障した送信者や悪意のある送信者に対する頑健性の問題が生じる。

重要な理由

遮蔽と限られた感知範囲は、単一のロボットや車両にとって根本的な制約であり、搭載センサーをいくら増やしても取り除けない。エージェントやインフラの間で知覚を共有することは、隠れているものを見る数少ない方法の一つであり、交差点、密な交通、混雑した複数ロボット環境での安全にとって重要である。

主な用途

• 交差点や密な交通の中のコネクテッド自動運転車
• 通過する車両に検出結果を配信する路側センシングユニット
• 複数ロボットによる探索と地図作成
• 目標の観測を共有するドローンスウォーム
• 障害物や人の検出結果を共有する倉庫のロボット群

実際の使われ方

2 台の自動運転車が交差点に近づいている。駐車中のバンが、横断中の自転車を見る視界をそれぞれさえぎっている。各車両は、点群を鳥瞰図の特徴マップに変換する LiDAR バックボーンを実行し、それを圧縮して、GPS とオドメトリによる姿勢およびタイムスタンプとともに配信する。受信側の車両は、届いた特徴量を自車の座標系に変換し、送信側の運動を使って時間遅れを補償したうえで、検出ヘッドを実行する前に注意機構ベースのモジュールで自車の特徴量と融合する。エンジニアは姿勢ノイズとメッセージ遅延を注入したシミュレーションでこのシステムをテストする。わずかなずれが重複したボックスやずれたボックスを生み、それは共有データがまったくない場合よりも悪いことがあるからである。

よくある誤解

• 協調知覚は単なるセンサーフュージョンである — 別々のエージェント間の相対姿勢誤差、通信遅延、限られた帯域、信頼の問題も扱わなければならない
• 生のセンサーデータを共有するのが常に最善である — 最も多くの情報を運ぶが、実用的な帯域を超えることが多く、そのため特徴量レベルの融合が一般的になっている
• 接続するエージェントが多いほど結果は常によくなる — 位置推定の悪いデータや遅れたデータは、慎重に位置合わせと重み付けをしない限り、誤った検出やずれた検出を加えることがある

知っておくべき人

• 自動運転の知覚エンジニア
• 複数ロボットとスウォームロボティクスの研究者
• V2X 通信エンジニア
• スマートインフラの開発者

関連技術

• V2X 通信（V2X Communication）
• 鳥瞰図特徴量融合（Bird's-Eye-View Feature Fusion）
• CARLA
• OPV2V
• 点群レジストレーション（Point Cloud Registration）

関連用語

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

関連プロジェクト

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation