Active Perception

• 다른 이름: active vision
• 카테고리: Sensing › Perception outputs
• 태그: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

카메라나 물체 자체를 움직이는 것처럼 로봇이 어떻게, 어디서 센싱할지를 제어하여, 새 측정마다 로봇이 알아야 할 것에 대한 불확실성을 줄이는 것.

정의

능동 인식(active perception)은 센싱을 로봇이 받기만 하는 것이 아니라 제어하는 것으로 다룬다. 능동적으로 인식하는 로봇은 도착하는 영상이나 스캔을 그대로 처리하는 대신, 다음 측정이 자신의 작업에 최대한 쓸모 있도록 시점, 시선 방향, 줌, 초점, 센서 설정을 고르거나 물체를 센서 앞에서 움직인다. Ruzena Bajcsy는 1988년 논문 Active Perception에서 이 개념을 정립하며 이를 인식을 위한 모델링 및 제어 전략의 연구라고 설명했고, Aloimonos와 동료들의 능동 시각(active vision)에 관한 관련 연구는 수동적인 관찰자에게는 불량 설정(ill-posed)인 일부 시각 문제가 관찰자가 움직일 수 있으면 양호 설정(well-posed)이 된다는 것을 보였다.

대부분의 현대적 정식화는 불확실성을 통해 루프를 닫는다. 로봇은 물체의 형상, 자세, 클래스, 또는 지도처럼 관심 있는 양에 대한 믿음(belief)을 유지하고, 가능한 각 센싱 행동이 그 믿음을 어떻게 바꿀지 예측한 뒤, 이동 비용과 저울질하여 기대 이득이 가장 좋은 행동을 고른다. 기대 이득은 흔히 엔트로피나 분산의 감소로 측정한다. 3D 재구성을 위한 다음 최적 시점 계획(next-best-view planning), 추적을 위한 시선 제어, 물체 인식을 위한 시점 선택은 모두 이 패턴을 따른다. 결정이 여러 단계에 걸치면 문제는 자연스럽게 POMDP가 되며, 믿음 공간 플래너나 트리 탐색으로 푼다. 실제로는 많은 시스템이 탐욕적인 한 단계 선택이나, 카메라 앞에서 물체를 회전시키는 것 같은 고정된 스캔 동작을 사용한다.

능동 인식은 상호작용 인식(interactive perception)과 밀접하게 관련되지만 둘은 같지 않다. 능동 인식은 센서를 움직이거나 물체를 다르게 제시함으로써 장면에 대한 센서의 관계를 바꾸며, 장면 자체를 바꿀 필요는 없다. 상호작용 인식은 물체를 밀어 어수선한 더미에서 떼어 내거나 서랍을 당겨 그 관절을 찾는 것처럼, 다른 방법으로는 볼 수 없는 특성을 드러내기 위해 의도적으로 물리적 접촉을 한다. 로봇 정보 수집은 드론이 밭을 지도화하는 경로를 계획하는 것처럼 같은 원리를 넓은 공간에 적용한다.

중요한 이유

장면을 한 번 본 것은 대개 불완전하다. 물체는 자기 자신과 서로를 가리며, 어떤 특성은 특정 각도에서만 보인다. 어디를 볼지 고르면 로봇은 더 적은 측정과 더 짧은 시간으로 물체를 재구성하고, 인식하고, 위치를 추정할 수 있으며, 이는 처음 보는 물체의 파지, 검사, 탐사에 중요하다.

주요 응용

• 3D 재구성과 검사를 위한 다음 최적 시점 계획
• 선택한 시점으로부터의 물체 인식과 자세 추정
• 휴머노이드와 모바일 로봇의 시선 및 카메라 제어
• 다시 잡기 전에 손 안에서 물체 스캔
• 드론과 지상 로봇을 이용한 탐사와 지도 작성

실제 사례

손목 카메라를 단 로봇 팔이 정밀한 파지를 계획하기 전에 낯선 물체의 완전한 3D 모델이 필요하다. 물체를 느슨하게 잡은 뒤 로봇은 그것을 고정된 깊이 카메라 앞에 들고 수직축을 중심으로 회전시키며, 깊이 영상을 체적 모델로 융합한다. 그리퍼에 가려진 아랫면처럼 모델이 아직 불확실한 곳이 있으면, 시스템은 몇 개의 후보 자세를 각각이 드러낼 미지 복셀의 수로 평가하고 가장 좋은 자세로 이동한다. 기대 이득이 임계값 아래로 떨어지면 멈추고, 완성된 모델을 이용해 물체를 다시 잡는다.

흔한 오해

• 능동 인식은 LiDAR나 구조광 같은 능동 센서를 쓰는 것을 뜻한다 — '능동'은 센싱 과정을 제어하는 것을 가리키며, 수동 카메라에도 똑같이 적용된다
• 능동 인식과 상호작용 인식은 같다 — 능동 인식은 시점이나 센서 매개변수를 바꾸고, 상호작용 인식은 정보를 드러내기 위해 장면을 물리적으로 조작한다
• 항상 최적의 다단계 계획이 필요하다 — 효과적인 시스템 중 다수는 탐욕적인 다음 최적 시점 선택이나 고정된 스캔 동작을 쓴다. 완전한 POMDP 계획은 추가 비용이 그만한 값을 할 때 쓴다

알아야 할 사람

• 3D 재구성을 다루는 인식 엔지니어
• 처음 보는 물체를 다루는 조작 연구자
• 자율 탐사 및 검사 개발자
• 믿음 공간 계획과 정보 주도 계획 연구자

관련 기술

• 다음 최적 시점 계획(Next-Best-View Planning)
• 체적 지도 작성(TSDF, OctoMap)
• 팬-틸트 유닛(Pan-Tilt Units)
• 정보 이론적 계획(Information-Theoretic Planning)
• POMDP 솔버

관련 용어

• Interactive Perception
• Robotic information gathering
• Eye-in-Hand Camera
• Belief-Space Planning
• Frontier-Based Exploration
• Partially Observable Markov Decision Process (POMDP)

관련 프로젝트

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action