Cooperative Perception

• Também chamado: collaborative perception, V2X cooperative perception, V2V cooperative perception
• Categoria: Learning & autonomy › Multi-robot
• Tags: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

Percepção em que vários veículos, robôs ou unidades à beira da via compartilham dados de sensores ou detecções, de modo que cada um enxerga além das oclusões e do alcance dos próprios sensores.

Definição

Percepção cooperativa (cooperative perception) permite que vários agentes combinem o que percebem. Um carro cuja visão de um pedestre está bloqueada por um caminhão ainda pode detectar o pedestre se outro veículo ou um sensor à beira da via que consegue vê-lo compartilhar seus dados. Cada agente ganha cobertura de pontos cegos, alcance efetivo maior e vários pontos de vista sobre o mesmo objeto, o que melhora a detecção e a localização de objetos que qualquer agente sozinho vê mal. Em veículos rodoviários isso geralmente é discutido como percepção cooperativa veículo a veículo (V2V), veículo a infraestrutura (V2I) ou, de forma mais geral, V2X; as mesmas ideias se aplicam a equipes de robôs móveis e drones.

Os sistemas costumam ser agrupados pelo que compartilham. A fusão antecipada (early fusion) envia dados de sensores brutos ou pouco processados, como nuvens de pontos de LiDAR, o que preserva a maior quantidade de informação, mas exige a maior largura de banda. A fusão tardia (late fusion) envia apenas as detecções finais, como caixas delimitadoras 3D, o que é barato, mas perde informação e depende do detector próprio de cada agente. A fusão intermediária (intermediate fusion) envia características aprendidas comprimidas, muitas vezes em uma grade em vista de cima, e as funde em uma rede neural no lado receptor; ela se tornou comum em sistemas aprendidos porque equilibra largura de banda e precisão.

A percepção cooperativa está intimamente relacionada à fusão de sensores, mas acrescenta problemas que a fusão em uma única plataforma não tem. Os agentes precisam conhecer suas poses relativas para alinhar os dados compartilhados, de modo que o erro de localização desalinha diretamente o que cada um vê. As mensagens chegam com latência e precisam ser compensadas pelo movimento. A largura de banda de comunicação é limitada e os enlaces podem cair. Os agentes podem ter sensores e modelos diferentes, e os dados compartilhados precisam ser confiáveis, o que levanta questões de segurança e de robustez contra emissores defeituosos ou maliciosos.

Por que importa

Oclusão e alcance limitado são limites fundamentais para qualquer robô ou veículo isolado, e nenhuma quantidade de sensores embarcados os elimina. Compartilhar a percepção entre agentes e infraestrutura é uma das poucas formas de ver o que está oculto, o que importa para a segurança em cruzamentos, no tráfego denso e em ambientes multirrobô lotados.

Principais aplicações

• Veículos conectados e automatizados em cruzamentos e no tráfego denso
• Unidades de sensoriamento à beira da via que transmitem detecções aos veículos que passam
• Exploração e mapeamento multirrobô
• Enxames de drones que compartilham observações de alvos
• Frotas de armazém que compartilham detecções de obstáculos e pessoas

Na prática

Dois veículos autônomos se aproximam de um cruzamento onde uma van estacionada bloqueia, para cada um, a visão de um ciclista que atravessa. Cada veículo roda um backbone de LiDAR que transforma sua nuvem de pontos em um mapa de características em vista de cima, o comprime e o transmite com sua pose obtida de GPS e odometria e uma marca de tempo. O veículo receptor transforma as características recebidas para o próprio referencial, compensa o atraso usando o movimento do emissor e as funde com suas próprias características em um módulo baseado em atenção antes de executar a cabeça de detecção. Os engenheiros testam o sistema em simulação com ruído de pose e atrasos de mensagem injetados, porque pequenos desalinhamentos podem criar caixas duplicadas ou deslocadas que são piores do que não ter nenhum dado compartilhado.

Equívocos comuns

• Percepção cooperativa é apenas fusão de sensores — ela também precisa lidar com erros de pose relativa, atraso de comunicação, largura de banda limitada e confiança entre agentes separados
• Compartilhar dados brutos de sensores é sempre o melhor — eles carregam a maior quantidade de informação, mas muitas vezes excedem a largura de banda prática, e por isso a fusão no nível de características é comum
• Mais agentes conectados sempre melhoram os resultados — dados mal localizados ou atrasados podem acrescentar detecções falsas ou deslocadas, a menos que sejam alinhados e ponderados com cuidado

Quem deve saber

• Engenheiros de percepção para direção autônoma
• Pesquisadores de robótica multirrobô e de enxames
• Engenheiros de comunicação V2X
• Desenvolvedores de infraestrutura inteligente

Tecnologias relacionadas

• Comunicação V2X (V2X Communication)
• Fusão de características em vista de cima (Bird's-Eye-View Feature Fusion)
• CARLA
• OPV2V
• Registro de nuvens de pontos (Point Cloud Registration)

Termos relacionados

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

Projetos relacionados

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation