Cooperative Perception

• 다른 이름: collaborative perception, V2X cooperative perception, V2V cooperative perception
• 카테고리: Learning & autonomy › Multi-robot
• 태그: perception, multi-agent, autonomous-driving, sensor-fusion, lidar

여러 차량, 로봇, 도로변 장치가 센서 데이터나 검출 결과를 공유하여, 각자가 가림 너머와 자기 센서 범위 밖을 볼 수 있게 하는 인식.

정의

협력 인식(cooperative perception)은 여러 에이전트가 각자 감지한 것을 결합하게 한다. 트럭에 가려 보행자를 보지 못하는 자동차도, 그 보행자를 볼 수 있는 다른 차량이나 도로변 센서가 데이터를 공유하면 보행자를 검출할 수 있다. 각 에이전트는 사각지대에 대한 커버리지, 더 긴 유효 거리, 같은 물체에 대한 여러 시점을 얻으며, 이는 어느 단일 에이전트도 잘 보지 못하는 물체의 검출과 위치 추정을 개선한다. 도로 차량에서는 이를 보통 차량 간(vehicle-to-vehicle, V2V), 차량-인프라 간(vehicle-to-infrastructure, V2I), 또는 더 일반적으로 V2X 협력 인식으로 논의하며, 같은 아이디어가 이동 로봇과 드론 팀에도 적용된다.

시스템은 보통 무엇을 공유하는지에 따라 분류된다. 조기 융합(early fusion)은 LiDAR 점군처럼 원시 또는 가볍게 처리된 센서 데이터를 보내며, 가장 많은 정보를 보존하지만 가장 많은 대역폭이 필요하다. 후기 융합(late fusion)은 3D 바운딩 박스 같은 최종 검출 결과만 보내므로 저렴하지만, 정보를 잃고 각 에이전트 자체의 검출기에 의존한다. 중간 융합(intermediate fusion)은 흔히 조감도(bird's-eye-view) 격자 형태의 압축된 학습 특징을 보내고, 수신 측의 신경망에서 이를 융합한다. 대역폭과 정확도의 균형을 맞추기 때문에 학습 기반 시스템에서 흔해졌다.

협력 인식은 센서 융합(sensor fusion)과 밀접하게 관련되지만, 단일 플랫폼 융합에는 없는 문제가 더해진다. 에이전트는 공유 데이터를 정렬하기 위해 서로의 상대 자세를 알아야 하므로, 위치 추정 오차가 곧바로 각자가 본 것의 정렬 오류로 이어진다. 메시지는 지연을 두고 도착하므로 움직임에 대해 보상해야 한다. 통신 대역폭은 제한되어 있고 링크는 끊길 수 있다. 에이전트마다 다른 센서와 모델을 가질 수 있으며, 공유 데이터는 신뢰할 수 있어야 하므로, 보안과 결함 있거나 악의적인 송신자에 대한 강건성의 문제가 제기된다.

중요한 이유

가림과 제한된 감지 거리는 어떤 단일 로봇이나 차량에게도 근본적인 한계이며, 탑재 센서를 아무리 늘려도 없앨 수 없다. 에이전트와 인프라 사이에서 인식을 공유하는 것은 숨겨진 것을 볼 수 있는 몇 안 되는 방법 중 하나이며, 이는 교차로, 밀집 교통, 붐비는 다중 로봇 환경에서의 안전에 중요하다.

주요 응용

• 교차로와 밀집 교통에서의 커넥티드 자율주행차
• 지나가는 차량에 검출 결과를 방송하는 도로변 센싱 장치
• 다중 로봇 탐사와 지도 작성
• 목표물 관측을 공유하는 드론 군집
• 장애물 및 사람 검출을 공유하는 물류 창고 로봇 무리

실제 사례

두 대의 자율주행차가 교차로에 접근하는데, 주차된 밴이 각 차량의 시야에서 횡단 중인 자전거 운전자를 가리고 있다. 각 차량은 점군을 조감도 특징 맵으로 바꾸는 LiDAR 백본을 실행하고, 이를 압축해 GPS와 오도메트리로 구한 자세 및 타임스탬프와 함께 방송한다. 수신 차량은 들어온 특징을 자기 좌표계로 변환하고, 송신자의 움직임을 이용해 시간 지연을 보상한 뒤, 검출 헤드를 실행하기 전에 어텐션 기반 모듈에서 자기 특징과 융합한다. 엔지니어들은 자세 노이즈와 메시지 지연을 주입한 시뮬레이션에서 시스템을 시험하는데, 작은 정렬 오차가 중복되거나 어긋난 박스를 만들어 공유 데이터가 아예 없는 것보다 더 나쁠 수 있기 때문이다.

흔한 오해

• 협력 인식은 그저 센서 융합일 뿐이다 — 별개 에이전트들 사이의 상대 자세 오차, 통신 지연, 제한된 대역폭, 신뢰 문제도 다뤄야 한다
• 원시 센서 데이터를 공유하는 것이 항상 최선이다 — 가장 많은 정보를 담지만 실용적인 대역폭을 넘는 경우가 많으며, 그래서 특징 수준 융합이 흔하다
• 연결된 에이전트가 많을수록 결과가 항상 좋아진다 — 위치 추정이 부정확하거나 지연된 데이터는 신중하게 정렬하고 가중치를 주지 않으면 거짓 검출이나 어긋난 검출을 더할 수 있다

알아야 할 사람

• 자율주행 인식 엔지니어
• 다중 로봇 및 군집 로봇 연구자
• V2X 통신 엔지니어
• 스마트 인프라 개발자

관련 기술

• V2X 통신(V2X Communication)
• 조감도 특징 융합(Bird's-Eye-View Feature Fusion)
• CARLA
• OPV2V
• 점군 정합(Point Cloud Registration)

관련 용어

• Sensor Fusion
• LIDAR
• Point Cloud
• Swarm Robotics
• LiDAR Odometry
• Obstacle Avoidance

관련 프로젝트

• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation