Semantic Map

• 다른 이름: semantic mapping
• 카테고리: Sensing › 3D maps & reconstruction
• 태그: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

사물이 어디에 있는지와 함께 물체 클래스, 인스턴스, 방 같은 그것이 무엇인지를 기록하는 지도로, 로봇이 물체와 장소로 표현된 목표에 따라 행동할 수 있게 한다.

정의

의미 지도(semantic map)는 기하 지도에 의미를 더한다. 표면과 빈 공간이 어디에 있는지 기록하는 것 외에, 지도의 부분들에 바닥, 문, 의자, 부엌 같은 범주 레이블을 붙이고, 흔히 개별 물체 인스턴스와 그 위치도 추적한다. 레이블은 보통 카메라 이미지에 대한 의미론적 분할이나 물체 검출에서 나오며, RGB-D 카메라, 스테레오, 또는 깊이 예측 네트워크로 얻은 깊이와 로봇의 자세를 함께 사용해 3D로 투영된다.

의미 지도에는 여러 형태가 있다. 위에서 내려다본 격자나 3D 복셀 격자는 셀마다 클래스 확률을 저장하며, 체화된 내비게이션 에이전트와 지시 수행 에이전트에서 흔히 쓰인다. 물체 수준 지도는 자세, 형상, 속성을 가진 물체의 목록을 유지한다. 3D 장면 그래프는 환경을 건물, 층, 방, 장소, 물체로 계층적으로 조직하고, 공간 관계를 간선으로 나타낸다. 더 최근의 지도는 각 점이나 셀에 예를 들어 CLIP에서 얻은 시각-언어 특징을 저장하므로, 고정된 레이블 집합 대신 개방 어휘 텍스트로 질의할 수 있다.

의미 지도를 만드는 일에는 자세 드리프트와 루프 클로저 같은 기하 지도 작성과 같은 문제에 더해 고유한 문제도 있다. 분할 오류, 시점에 따라 바뀌는 레이블, 움직이는 물체이다. 시스템은 예를 들어 셀마다 클래스 확률을 누적하는 방식으로 많은 시점에 걸쳐 레이블을 융합하고, 더 이상 관측되지 않는 물체는 업데이트하거나 제거한다. 계획기 입장에서의 이점은 "머그잔을 싱크대에 넣어" 같은 목표를 지도 좌표에 접지할 수 있고, 현재 시야 밖의 물체도 기억으로부터 찾을 수 있다는 것이다.

중요한 이유

로봇은 점점 더 좌표가 아니라 물체와 장소로 표현된 작업을 받는다. 의미 지도는 그런 단어들을 위치와 연결하여, 언어 기반 계획기, 가정용 로봇, 점검 시스템에 무엇이 어디에 있는지에 대한 지속적인 기억을 제공한다.

주요 응용

• 물체 목표 및 언어 안내 내비게이션
• 가정용 모바일 매니퓰레이션과 물체 탐색
• 작업 계획을 위한 자연어 지시의 접지
• 레이블이 붙은 자산을 이용한 시설 점검
• 창고와 건설 현장의 변화 감지

실제 사례

가정에 있는 모바일 매니퓰레이터가 RGB-D 카메라, 분할 네트워크, SLAM 시스템을 실행한다. 각 프레임의 픽셀별 레이블은 깊이 이미지와 현재 자세를 사용해 복셀 지도에 투영되고, 각 복셀의 클래스 확률은 새 시점이 들어올 때마다 업데이트된다. 검출된 물체는 중심, 크기, 마지막으로 본 시각을 가진 인스턴스로도 저장된다. 사용자가 로봇에게 사과를 가져오라고 하면, 작업 계획기는 지도에서 사과 인스턴스를 질의해 가장 가까운 것을 고르고, 그 옆의 빈 공간까지 경로를 계획하며, 도착하면 잡기 전에 사과를 다시 검출한다. 지도에 사과가 없으면 계획기는 부엌 조리대처럼 사과가 있을 법한 곳을 탐사하도록 로봇을 보낸다.

흔한 오해

• 의미 지도는 레이블이 붙은 이미지일 뿐이다 — 의미 지도는 시간에 걸쳐 많은 시점의 레이블을 융합하는, 지속적이고 공간적으로 정합된 지도이다
• 의미 레이블이 있으면 기하가 필요 없다 — 계획기는 여전히 빈 공간과 충돌 기하가 필요하다. 의미 정보는 기하 지도에 더해지는 것이지 그것을 대신하는 것이 아니다
• 한 번 지도에 올린 물체는 그 자리에 그대로 있다 — 물체는 옮겨지므로, 의미 지도에는 항목을 업데이트하고 잊는 정책이 필요하다

알아야 할 사람

• 체화된 AI 및 내비게이션 연구자
• 모바일 매니퓰레이션 엔지니어
• 인식 및 SLAM 엔지니어
• 언어 기반 로봇 계획기 개발자

관련 기술

• 의미론적 분할(Semantic Segmentation)
• 3D 장면 그래프(3D Scene Graphs)
• CLIP
• Kimera
• RGB-D SLAM

관련 용어

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

관련 프로젝트

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL