Cooperative Perception

• Detto anche: collaborative perception, V2X cooperative perception, V2V cooperative perception
• Categoria: Learning & autonomy › Multi-robot
• Tag: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

Percezione in cui più veicoli, robot o unità a bordo strada condividono dati dei sensori o rilevamenti, così che ciascuno veda oltre le occlusioni e oltre la portata dei propri sensori.

Definizione

Percezione cooperativa (cooperative perception) permette a più agenti di combinare ciò che percepiscono. Un'auto la cui vista di un pedone è bloccata da un camion può comunque rilevare il pedone se un altro veicolo o un sensore a bordo strada che lo vede condivide i propri dati. Ogni agente guadagna copertura degli angoli ciechi, una portata effettiva maggiore e più punti di vista sullo stesso oggetto, il che migliora il rilevamento e la localizzazione degli oggetti che ogni singolo agente vede male. Nei veicoli stradali se ne parla di solito come percezione cooperativa veicolo-veicolo (V2V), veicolo-infrastruttura (V2I) o, più in generale, V2X; le stesse idee si applicano a squadre di robot mobili e droni.

I sistemi sono di solito raggruppati in base a ciò che condividono. La fusione anticipata (early fusion) invia dati dei sensori grezzi o poco elaborati, come nuvole di punti LiDAR, il che preserva la massima informazione ma richiede la banda maggiore. La fusione tardiva (late fusion) invia solo i rilevamenti finali, come bounding box 3D, il che è economico ma perde informazione e dipende dal rilevatore di ciascun agente. La fusione intermedia (intermediate fusion) invia feature apprese compresse, spesso in una griglia a vista dall'alto, e le fonde in una rete neurale sul lato ricevente; è diventata comune nei sistemi appresi perché bilancia banda e accuratezza.

La percezione cooperativa è strettamente legata alla fusione sensoriale, ma aggiunge problemi che la fusione su una singola piattaforma non ha. Gli agenti devono conoscere le loro pose relative per allineare i dati condivisi, quindi l'errore di localizzazione disallinea direttamente ciò che ciascuno vede. I messaggi arrivano con latenza e vanno compensati per il moto. La banda di comunicazione è limitata e i collegamenti possono cadere. Gli agenti possono avere sensori e modelli diversi, e i dati condivisi devono essere affidabili, il che solleva questioni di sicurezza e di robustezza rispetto a mittenti difettosi o malevoli.

Perché è importante

Le occlusioni e la portata limitata sono limiti fondamentali per qualsiasi singolo robot o veicolo, e nessuna quantità di sensori di bordo li elimina. Condividere la percezione tra agenti e infrastruttura è uno dei pochi modi per vedere ciò che è nascosto, il che conta per la sicurezza agli incroci, nel traffico intenso e negli ambienti multi-robot affollati.

Applicazioni principali

• Veicoli connessi e automatizzati agli incroci e nel traffico intenso
• Unità di rilevamento a bordo strada che trasmettono rilevamenti ai veicoli in transito
• Esplorazione e mappatura multi-robot
• Sciami di droni che condividono osservazioni di bersagli
• Flotte di magazzino che condividono rilevamenti di ostacoli e persone

In pratica

Due veicoli autonomi si avvicinano a un incrocio dove un furgone parcheggiato blocca a ciascuno la vista di un ciclista che attraversa. Ogni veicolo esegue un backbone LiDAR che trasforma la propria nuvola di punti in una mappa di feature a vista dall'alto, la comprime e la trasmette insieme alla propria posa da GPS e odometria e a una marca temporale. Il veicolo ricevente trasforma le feature in arrivo nel proprio sistema di riferimento, compensa il ritardo usando il moto del mittente e le fonde con le proprie feature in un modulo basato sull'attenzione prima di eseguire la testa di rilevamento. Gli ingegneri testano il sistema in simulazione iniettando rumore sulle pose e ritardi nei messaggi, perché piccoli disallineamenti possono creare box duplicati o spostati che sono peggio di nessun dato condiviso.

Idee sbagliate comuni

• La percezione cooperativa è solo fusione sensoriale — deve anche gestire errori di posa relativa, ritardi di comunicazione, banda limitata e fiducia tra agenti separati
• Condividere i dati grezzi dei sensori è sempre la scelta migliore — trasportano la massima informazione ma spesso superano la banda disponibile in pratica, ed è per questo che la fusione a livello di feature è comune
• Più agenti connessi migliorano sempre i risultati — dati mal localizzati o in ritardo possono aggiungere rilevamenti falsi o spostati se non vengono allineati e pesati con cura

Chi dovrebbe saperlo

• Ingegneri di percezione per la guida autonoma
• Ricercatori di robotica multi-robot e di sciami
• Ingegneri di comunicazione V2X
• Sviluppatori di infrastrutture intelligenti

Tecnologie correlate

• Comunicazione V2X (V2X Communication)
• Fusione di feature a vista dall'alto (Bird's-Eye-View Feature Fusion)
• CARLA
• OPV2V
• Registrazione di nuvole di punti (Point Cloud Registration)

Termini correlati

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

Progetti correlati

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation