Cooperative Perception

• También llamado: collaborative perception, V2X cooperative perception, V2V cooperative perception
• Categoría: Learning & autonomy › Multi-robot
• Etiquetas: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

Percepción en la que varios vehículos, robots o unidades de carretera comparten datos de sensores o detecciones, de modo que cada uno ve más allá de las oclusiones y del alcance de sus propios sensores.

Definición

Percepción cooperativa (cooperative perception) permite a varios agentes combinar lo que perciben. Un coche cuya vista de un peatón está tapada por un camión aún puede detectar al peatón si otro vehículo o un sensor de carretera que puede verlo comparte sus datos. Cada agente gana cobertura de los ángulos muertos, un alcance efectivo mayor y varios puntos de vista sobre el mismo objeto, lo que mejora la detección y la localización de los objetos que cualquier agente individual ve mal. En los vehículos de carretera esto suele tratarse como percepción cooperativa vehículo a vehículo (V2V), vehículo a infraestructura (V2I) o, de forma más general, V2X; las mismas ideas se aplican a equipos de robots móviles y drones.

Los sistemas suelen agruparse según lo que comparten. La fusión temprana (early fusion) envía datos de sensores en bruto o poco procesados, como nubes de puntos LiDAR, lo que conserva la mayor cantidad de información pero necesita el mayor ancho de banda. La fusión tardía (late fusion) envía solo las detecciones finales, como cajas delimitadoras 3D, lo que es barato pero pierde información y depende del detector propio de cada agente. La fusión intermedia (intermediate fusion) envía características aprendidas comprimidas, a menudo en una rejilla de vista de pájaro, y las fusiona en una red neuronal en el lado receptor; se ha vuelto habitual en los sistemas aprendidos porque equilibra ancho de banda y precisión.

La percepción cooperativa está estrechamente relacionada con la fusión de sensores, pero añade problemas que la fusión en una sola plataforma no tiene. Los agentes deben conocer sus poses relativas para alinear los datos compartidos, de modo que el error de localización desalinea directamente lo que ve cada uno. Los mensajes llegan con latencia y hay que compensar el movimiento. El ancho de banda de comunicación es limitado y los enlaces pueden caerse. Los agentes pueden llevar sensores y modelos distintos, y hay que poder confiar en los datos compartidos, lo que plantea cuestiones de seguridad y de robustez frente a emisores defectuosos o maliciosos.

Por qué importa

Las oclusiones y el alcance limitado son límites fundamentales para cualquier robot o vehículo individual, y ninguna cantidad de sensores a bordo los elimina. Compartir la percepción entre agentes e infraestructura es una de las pocas formas de ver lo que está oculto, lo que importa para la seguridad en las intersecciones, con tráfico denso y en entornos multirrobot concurridos.

Aplicaciones clave

• Vehículos conectados y automatizados en intersecciones y con tráfico denso
• Unidades de sensores de carretera que difunden detecciones a los vehículos que pasan
• Exploración y mapeo multirrobot
• Enjambres de drones que comparten observaciones de objetivos
• Flotas de almacén que comparten detecciones de obstáculos y personas

En la práctica

Dos vehículos autónomos se acercan a una intersección donde una furgoneta aparcada tapa a cada uno la vista de un ciclista que cruza. Cada vehículo ejecuta un backbone LiDAR que convierte su nube de puntos en un mapa de características en vista de pájaro, lo comprime y lo difunde junto con su pose obtenida de GPS y odometría y una marca de tiempo. El vehículo receptor transforma las características entrantes a su propio sistema de referencia, compensa el retardo usando el movimiento del emisor y las fusiona con sus propias características en un módulo basado en atención antes de ejecutar la cabeza de detección. Los ingenieros prueban el sistema en simulación inyectando ruido en las poses y retardos en los mensajes, porque pequeñas desalineaciones pueden crear cajas duplicadas o desplazadas que son peores que no tener ningún dato compartido.

Ideas erróneas comunes

• La percepción cooperativa es solo fusión de sensores — también tiene que manejar errores de pose relativa, retardos de comunicación, ancho de banda limitado y confianza entre agentes separados
• Compartir datos de sensores en bruto siempre es lo mejor — transporta la mayor cantidad de información, pero a menudo supera el ancho de banda práctico, por lo que es habitual la fusión a nivel de características
• Más agentes conectados siempre mejoran los resultados — los datos mal localizados o retrasados pueden añadir detecciones falsas o desplazadas salvo que se alineen y se ponderen con cuidado

Quién debería saberlo

• Ingenieros de percepción para conducción autónoma
• Investigadores de robótica multirrobot y de enjambres
• Ingenieros de comunicación V2X
• Desarrolladores de infraestructura inteligente

Tecnologías relacionadas

• Comunicación V2X (V2X Communication)
• Fusión de características en vista de pájaro (Bird's-Eye-View Feature Fusion)
• CARLA
• OPV2V
• Registro de nubes de puntos (Point Cloud Registration)

Términos relacionados

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

Proyectos relacionados

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation