Bird's-Eye View

• Aussi appelé: BEV, top-down view
• Catégorie: Sensing › Perception outputs
• Mots-clés: 3d-perception, object-detection, lidar, sensor-fusion, autonomous-driving

Une représentation en grille, vue de dessus, de la zone autour d'un robot ou d'un véhicule, construite à partir de LiDAR, de caméras ou des deux, utilisée pour la détection 3D, la cartographie et la planification.

Définition

Une vue à vol d'oiseau (bird's-eye view, BEV) représente une scène vue directement d'en haut, sous la forme d'une grille 2D sur le plan du sol centrée sur le robot ou le véhicule. Chaque cellule contient des caractéristiques plutôt qu'une valeur unique : occupation, hauteur maximale ou moyenne des points, densité de points, intensité LiDAR, classe sémantique ou vecteurs de caractéristiques appris. Comme les objets au sol gardent leur taille réelle et ne se chevauchent pas dans cette vue, une grille BEV est un lieu commode pour détecter véhicules et piétons, estimer l'espace libre et transmettre l'information à un planificateur qui travaille déjà dans un repère cartographique vu de dessus.

À partir du LiDAR, une BEV se construit en répartissant les points dans des cellules. Les versions conçues à la main encodent chaque cellule avec plusieurs canaux de tranches de hauteur, plus la densité et parfois l'intensité, comme dans les détecteurs AVOD et MV3D ; les versions apprises comme PointPillars utilisent un petit réseau pour encoder les points de chaque colonne verticale en un vecteur de caractéristiques, produisant une pseudo-image qu'un réseau convolutif 2D standard peut traiter. À partir de caméras, la vue doit être construite, car les images sont des projections perspectives. Les premières méthodes utilisaient la transformation de perspective inverse, qui suppose un plan de sol plat. Des méthodes apprises plus récentes estiment la profondeur ou utilisent l'attention pour élever les caractéristiques de l'image en 3D et les projeter sur la grille BEV, ce qui rend aussi simple la fusion de plusieurs caméras et du LiDAR en une représentation partagée.

Une grille BEV diffère d'une carte d'élévation (elevation map). Une carte d'élévation stocke la hauteur du terrain pour la locomotion à pattes ou tout-terrain ; une BEV est une grille de caractéristiques générale vue de dessus pour la perception, généralement construite sur des routes ou des sols où le terrain est presque plat. L'aplatissement qui rend la BEV commode fait aussi perdre de l'information : la structure verticale est réduite à quelques canaux, les objets en surplomb sont fusionnés avec ce qui se trouve en dessous, et les objets petits ou lointains peuvent ne couvrir que très peu de cellules à la résolution choisie.

Pourquoi c'est important

La BEV est devenue l'espace de travail commun de la perception en conduite autonome et pour les robots mobiles d'extérieur. Elle permet à la détection, au suivi, à la cartographie et à la planification de partager un même repère métrique, et rend beaucoup plus simple la fusion de plusieurs capteurs en une seule représentation.

Applications principales

• Détection d'objets 3D pour véhicules autonomes
• Fusion multicaméra et caméra-LiDAR
• Segmentation de la zone carrossable et des voies
• Prédiction de l'occupation et de l'espace libre pour la planification
• Perception coopérative avec partage de cartes entre véhicules

En pratique

Un robot de livraison fusionne un LiDAR de toit et quatre caméras pour naviguer sur les trottoirs. Les points LiDAR situés à moins de 40 m sont répartis dans une grille à cellules de 0,1 m, avec des canaux pour plusieurs tranches de hauteur et la densité de points. Les caractéristiques des caméras sont élevées sur la même grille à l'aide de distributions de profondeur prédites, et les deux cartes de caractéristiques sont concaténées avant qu'une tête convolutive prédise la zone carrossable, les boîtes des piétons et leur orientation. Le planificateur lit directement la même grille. Lorsque l'équipe ajoute une rampe au parcours d'essai, elle constate que de faux obstacles apparaissent là où le sol monte, parce que les tranches de hauteur étaient définies par rapport à un plan de sol plat, et elle ajoute une estimation de la hauteur du sol par cellule pour corriger le problème.

Idées reçues

• Une image BEV n'est qu'une photo prise d'en haut — c'est une grille métrique construite, généralement à partir du LiDAR ou en élevant en 3D des images de caméras perspectives
• La BEV par caméra est aussi précise que la BEV par LiDAR — les méthodes par caméra doivent estimer la profondeur, si bien que les erreurs de position croissent avec la distance
• La BEV conserve toute la scène 3D — la hauteur est compressée en quelques canaux, de sorte que les surplombs et les objets empilés sont fusionnés
• La transformation de perspective inverse fonctionne partout — elle suppose un sol plat et déforme tout ce qui se trouve au-dessus du sol ou sur des pentes

Qui devrait le savoir

• Ingénieurs en perception pour la conduite autonome
• Développeurs de robots mobiles et de navigation en extérieur
• Chercheurs en vision par ordinateur travaillant sur la détection 3D
• Ingénieurs en fusion de capteurs

Technologies associées

• PointPillars
• Lift-Splat-Shoot
• Transformation de perspective inverse (Inverse Perspective Mapping)
• Grille d'occupation (Occupancy Grid)
• Voxelisation (Voxelization)

Termes associés

• LIDAR
• Point Cloud
• Range Image
• Elevation Map
• Semantic Map
• Cooperative Perception

Projets associés

• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)