Semantic Map
- 又称: semantic mapping
- 类别: Sensing › 3D maps & reconstruction
- 标签: mapping, semantic-perception, embodied-ai, navigation, scene-understanding
一种在记录事物位置的同时也记录其是什么的地图，例如物体类别、实例或房间，使机器人能够执行以物体和地点表述的目标。
定义
语义地图（Semantic map）为几何地图增加了含义。除了记录表面和自由空间在哪里之外，它还用地板、门、椅子或厨房等类别为地图的各个部分加上标签，并且常常跟踪各个物体实例及其位置。这些标签通常来自对相机图像进行的语义分割或目标检测，并借助来自 RGB-D 相机、双目立体视觉或深度预测网络的深度以及机器人的位姿投影到 3D 中。
语义地图有几种形式。俯视栅格或 3D 体素栅格为每个单元格存储一个类别概率，在具身导航和指令跟随智能体中很常见。物体级地图保存一个物体列表，包含其位姿、形状和属性。3D 场景图把环境分层组织为建筑、楼层、房间、地点和物体，并用边表示空间关系。较新的地图在每个点或单元格中存储视觉-语言特征，例如来自 CLIP 的特征，因此可以用开放词汇的文本而不是固定的标签集进行查询。
构建语义地图会遇到与几何建图相同的问题，例如位姿漂移和回环闭合，还有一些自身特有的问题：分割错误、随视角变化的标签，以及会移动的物体。系统会在多个视角上融合标签，例如在每个单元格中累积类别概率，并更新或删除不再被观测到的物体。对规划器而言，好处在于像“把杯子放进水槽”这样的目标可以落实到地图坐标上，而且当前视野之外的物体仍可以从记忆中找到。
为何重要
机器人越来越多地以物体和地点而不是坐标来接收任务。语义地图把这些词与位置联系起来，为语言驱动的规划器、家庭机器人和巡检系统提供关于什么在哪里的持久记忆。
主要应用
- 物体目标导航和语言引导导航
- 家庭移动操作和物体搜索
- 为任务规划落实自然语言指令
- 带资产标注的设施巡检
- 仓库和建筑工地中的变化检测
实际应用
家中的一台移动机械臂运行着一台 RGB-D 相机、一个分割网络和一个 SLAM 系统。每一帧的逐像素标签利用深度图像和当前位姿投影到体素地图中，每个体素中的类别概率随每个新视角而更新。检测到的物体还会作为实例存储，带有中心、范围和最后一次被看到的时间。当用户让机器人拿一个苹果时，任务规划器在地图中查询苹果实例，选出最近的一个，规划一条到其旁边自由空间的路径，并在到达后重新检测苹果，然后再抓取。如果地图中没有苹果，规划器就让机器人去探索可能有苹果的地方，例如厨房台面。
常见误解
- 语义地图只是一幅带标签的图像 — 它是一张持久的、空间配准的地图，会随时间融合来自多个视角的标签
- 有了语义标签就不再需要几何 — 规划器仍然需要自由空间和碰撞几何；语义是添加到几何地图上的，而不是用来取代它
- 一旦建图，物体就会留在原处 — 物体会被移动，因此语义地图需要更新和遗忘条目的策略
谁需要了解
- 具身智能和导航研究人员
- 移动操作工程师
- 感知和 SLAM 工程师
- 语言驱动机器人规划器的开发人员
相关技术
- 语义分割（Semantic Segmentation）
- 3D 场景图（3D Scene Graphs）
- CLIP
- Kimera
- RGB-D SLAM
相关术语
相关项目
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- RLinf: Scalable infrastructure for post-training foundation models via RL