Semantic Map
- 又稱: semantic mapping
- 類別: Sensing › 3D maps & reconstruction
- 標籤: mapping, semantic-perception, embodied-ai, navigation, scene-understanding
在記錄事物位置的同時也記錄其為何物的地圖，例如物體類別、實例或房間，讓機器人能執行以物體與地點來表述的目標。
定義
語意地圖（Semantic map）為幾何地圖加上意義。除了記錄表面與自由空間在哪裡之外，它還以地板、門、椅子或廚房等類別為地圖的各個部分加上標籤，並且常會追蹤個別的物體實例及其位置。這些標籤通常來自對攝影機影像進行的語意分割或物件偵測，並藉由來自 RGB-D 攝影機、立體視覺或深度預測網路的深度，以及機器人的位姿投影到 3D 中。
語意地圖有幾種形式。俯視網格或 3D 體素網格為每個格子儲存一個類別機率，在具身導航與指令遵循代理人中很常見。物體層級的地圖保存一份物體清單，包含其位姿、形狀與屬性。3D 場景圖把環境階層式地組織成建築物、樓層、房間、地點與物體，並以邊表示空間關係。較新的地圖會在每個點或格子中儲存視覺語言特徵，例如來自 CLIP 的特徵，因此可以用開放詞彙的文字而不是固定的標籤集合來查詢。
建立語意地圖會遇到與幾何建圖相同的問題，例如位姿漂移與迴路閉合，再加上一些它自己的問題：分割錯誤、隨視角改變的標籤，以及會移動的物體。系統會在許多視角上融合標籤，例如在每個格子中累積類別機率，並更新或移除不再被觀測到的物體。對規劃器而言，好處是像「把馬克杯放進水槽」這樣的目標可以落實到地圖座標上，而且目前視野之外的物體仍能從記憶中找到。
為何重要
機器人越來越常以物體與地點而不是座標來接收任務。語意地圖把這些詞語與位置連結起來，為語言驅動的規劃器、居家機器人與巡檢系統提供關於什麼東西在哪裡的持久記憶。
主要應用
- 物體目標導航與語言引導導航
- 居家移動操作與物體搜尋
- 為任務規劃落實自然語言指令
- 帶有資產標籤的設施巡檢
- 倉庫與營建工地中的變化偵測
實際應用
家中的一台移動機械手臂執行一台 RGB-D 攝影機、一個分割網路與一個 SLAM 系統。每個影格的逐像素標籤利用深度影像與目前位姿投影到體素地圖中，每個體素中的類別機率會隨每個新視角更新。偵測到的物體也會以實例形式儲存，帶有中心、範圍與最後一次被看到的時間。當使用者要求機器人拿一顆蘋果時，任務規劃器在地圖中查詢蘋果實例，挑出最近的一個，規劃一條到它旁邊自由空間的路徑，並在抵達後重新偵測蘋果，再進行抓取。如果地圖中沒有蘋果，規劃器就讓機器人去探索可能有蘋果的地方，例如廚房檯面。
常見誤解
- 語意地圖只是一張加上標籤的影像 — 它是一張持久且經過空間對位的地圖，會隨時間融合來自許多視角的標籤
- 有了語意標籤就不需要幾何 — 規劃器仍然需要自由空間與碰撞幾何；語意是加在幾何地圖上，而不是用來取代它
- 一旦建圖，物體就會留在原處 — 物體會被移動，因此語意地圖需要更新與遺忘條目的策略
誰需要了解
- 具身 AI 與導航研究人員
- 移動操作工程師
- 感知與 SLAM 工程師
- 語言驅動機器人規劃器的開發人員
相關技術
- 語意分割（Semantic Segmentation）
- 3D 場景圖（3D Scene Graphs）
- CLIP
- Kimera
- RGB-D SLAM
相關術語
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- RLinf: Scalable infrastructure for post-training foundation models via RL