Cooperative Perception

Aussi appelé: collaborative perception, V2X cooperative perception, V2V cooperative perception
Catégorie: Learning & autonomy › Multi-robot
Mots-clés: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

Perception dans laquelle plusieurs véhicules, robots ou unités de bord de route partagent des données de capteur ou des détections, de sorte que chacun voit au-delà des occultations et au-delà de la portée de ses propres capteurs.

Définition

Perception coopérative (cooperative perception) : capacité, pour plusieurs agents, de combiner ce qu'ils perçoivent. Une voiture dont la vue sur un piéton est masquée par un camion peut tout de même détecter ce piéton si un autre véhicule ou un capteur de bord de route qui le voit partage ses données. Chaque agent gagne une couverture de ses angles morts, une portée effective plus longue et plusieurs points de vue sur un même objet, ce qui améliore la détection et la localisation des objets que tout agent isolé voit mal. Pour les véhicules routiers, on parle généralement de perception coopérative véhicule-à-véhicule (vehicle-to-vehicle, V2V), véhicule-à-infrastructure (vehicle-to-infrastructure, V2I) ou plus généralement V2X ; les mêmes idées s'appliquent aux équipes de robots mobiles et de drones.

Les systèmes sont généralement classés selon ce qu'ils partagent. La fusion précoce (early fusion) envoie des données de capteur brutes ou peu traitées, comme des nuages de points LiDAR, ce qui préserve le plus d'information mais exige le plus de bande passante. La fusion tardive (late fusion) n'envoie que les détections finales, comme des boîtes englobantes 3D, ce qui est peu coûteux mais perd de l'information et dépend du détecteur propre à chaque agent. La fusion intermédiaire (intermediate fusion) envoie des caractéristiques apprises compressées, souvent dans une grille en vue de dessus (bird's-eye view), et les fusionne dans un réseau de neurones côté récepteur ; elle est devenue courante dans les systèmes appris parce qu'elle équilibre bande passante et précision.

La perception coopérative est étroitement liée à la fusion de capteurs (sensor fusion), mais ajoute des problèmes que la fusion sur une seule plateforme n'a pas. Les agents doivent connaître leurs poses relatives pour aligner les données partagées, si bien que l'erreur de localisation désaligne directement ce que chacun voit. Les messages arrivent avec une latence et doivent être compensés en fonction du mouvement. La bande passante de communication est limitée et les liaisons peuvent tomber. Les agents peuvent porter des capteurs et des modèles différents, et les données partagées doivent être dignes de confiance, ce qui soulève des questions de sécurité et de robustesse face à des émetteurs défaillants ou malveillants.

Pourquoi c'est important

L'occultation et la portée limitée sont des limites fondamentales pour tout robot ou véhicule isolé, et aucune quantité de capteurs embarqués ne les supprime. Partager la perception entre agents et infrastructures est l'un des rares moyens de voir ce qui est caché, ce qui compte pour la sécurité aux intersections, dans un trafic dense et dans des environnements multi-robots encombrés.

Applications principales

Véhicules connectés et automatisés aux intersections et dans un trafic dense
Unités de détection de bord de route qui diffusent leurs détections aux véhicules qui passent
Exploration et cartographie multi-robots
Essaims de drones partageant leurs observations de cibles
Flottes d'entrepôt partageant les détections d'obstacles et de personnes

En pratique

Deux véhicules autonomes approchent d'une intersection où une camionnette garée masque à chacun la vue d'un cycliste qui traverse. Chaque véhicule exécute un réseau de base (backbone) LiDAR qui transforme son nuage de points en carte de caractéristiques en vue de dessus, la compresse et la diffuse avec sa pose issue du GPS et de l'odométrie et un horodatage. Le véhicule récepteur transforme les caractéristiques reçues dans son propre repère, compense le délai à l'aide du mouvement de l'émetteur, et les fusionne avec ses propres caractéristiques dans un module à attention avant d'exécuter la tête de détection. Les ingénieurs testent le système en simulation en injectant du bruit de pose et des délais de messages, car de petits désalignements peuvent créer des boîtes dupliquées ou décalées, pires que l'absence de toute donnée partagée.

Idées reçues

La perception coopérative n'est que de la fusion de capteurs — elle doit aussi gérer les erreurs de pose relative, le délai de communication, la bande passante limitée et la confiance entre agents distincts
Partager les données de capteur brutes est toujours le mieux — elles portent le plus d'information mais dépassent souvent la bande passante disponible en pratique, c'est pourquoi la fusion au niveau des caractéristiques est courante
Plus d'agents connectés améliore toujours les résultats — des données mal localisées ou retardées peuvent ajouter des détections fausses ou décalées si elles ne sont pas soigneusement alignées et pondérées

Qui devrait le savoir

Ingénieurs en perception pour la conduite autonome
Chercheurs en robotique multi-robots et en essaims
Ingénieurs en communication V2X
Développeurs d'infrastructures intelligentes

Technologies associées

Communication V2X (V2X Communication)
Fusion de caractéristiques en vue de dessus (Bird's-Eye-View Feature Fusion)
CARLA
OPV2V
Recalage de nuages de points (Point Cloud Registration)

Termes associés

Projets associés

Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
PCL: Industry-standard C++ library for point cloud processing in robotics perception
Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation