Semantic Map

• 別名: semantic mapping
• カテゴリ: Sensing › 3D maps & reconstruction
• タグ: mapping, semantic-perception, embodied-ai, navigation, scene-understanding

物体のクラス、インスタンス、部屋など、物がどこにあるかとともにそれが何であるかを記録する地図。これによりロボットは、物体や場所の言葉で述べられた目標に基づいて行動できる。

定義

セマンティックマップ（Semantic map）は、幾何学的な地図に意味を加える。表面や自由空間がどこにあるかを記録するだけでなく、地図の各部分に床、ドア、椅子、キッチンといったカテゴリのラベルを付け、多くの場合は個々の物体インスタンスとその位置も追跡する。ラベルは通常、カメラ画像に対するセマンティックセグメンテーションや物体検出から得られ、RGB-D カメラ、ステレオ、または深度予測ネットワークによる深度とロボットの位置姿勢を使って 3D に投影される。

セマンティックマップにはいくつかの形態がある。俯瞰の格子や 3D ボクセル格子はセルごとにクラス確率を保持し、身体性をもつナビゲーションエージェントや指示追従エージェントでよく使われる。物体レベルの地図は、位置姿勢、形状、属性をもつ物体のリストを保持する。3D シーングラフは環境を建物、階、部屋、場所、物体へと階層的に整理し、空間的な関係をエッジで表す。より新しい地図は、たとえば CLIP による視覚言語特徴を各点や各セルに保持するので、固定のラベル集合ではなくオープンボキャブラリのテキストで問い合わせることができる。

セマンティックマップの構築には、位置姿勢のドリフトやループクロージングといった幾何学的なマッピングと同じ問題に加えて、固有の問題もある。セグメンテーションの誤り、視点によって変わるラベル、そして動く物体である。システムは多数の視点にわたってラベルを融合し、たとえばセルごとにクラス確率を蓄積し、もう観測されない物体を更新または削除する。プランナーにとっての利点は、「マグカップをシンクに入れて」のような目標を地図座標に結びつけられること、そして現在の視野の外にある物体も記憶から見つけられることである。

重要な理由

ロボットは座標ではなく物体や場所の言葉でタスクを受け取ることが増えている。セマンティックマップはそうした言葉を位置に結びつけ、言語駆動のプランナー、家庭用ロボット、点検システムに、何がどこにあるかについての永続的な記憶を与える。

主な用途

• 物体目標ナビゲーションと言語誘導ナビゲーション
• 家庭内モバイルマニピュレーションと物体探索
• タスク計画のための自然言語指示のグラウンディング
• ラベル付けされた資産を伴う施設点検
• 倉庫や建設現場での変化検出

実際の使われ方

家庭内のモバイルマニピュレータが、RGB-D カメラ、セグメンテーションネットワーク、SLAM システムを動かしている。各フレームの画素ごとのラベルは、深度画像と現在の位置姿勢を使ってボクセルマップに投影され、各ボクセルのクラス確率は新しい視点のたびに更新される。検出された物体は、中心、範囲、最後に見えた時刻をもつインスタンスとしても保存される。ユーザーがロボットにリンゴを持ってくるよう頼むと、タスクプランナーは地図からリンゴのインスタンスを問い合わせ、最も近いものを選び、その横の自由空間への経路を計画し、到着したらリンゴを検出し直してから把持する。地図にリンゴがなければ、プランナーはキッチンのカウンターのようなリンゴがありそうな場所をロボットに探索させる。

よくある誤解

• セマンティックマップはラベル付きの画像にすぎない — 多数の視点からのラベルを時間とともに融合する、永続的で空間的に位置合わせされた地図である
• セマンティックラベルがあれば幾何は不要になる — プランナーには依然として自由空間と衝突判定用の幾何が必要であり、意味情報は幾何学的な地図に加えられるもので、その代わりに使われるものではない
• いったん地図化された物体はその場にとどまる — 物体は動かされるので、セマンティックマップには項目を更新したり忘れたりするための方針が必要である

知っておくべき人

• エンボディド AI とナビゲーションの研究者
• モバイルマニピュレーションのエンジニア
• 知覚と SLAM のエンジニア
• 言語駆動のロボットプランナーの開発者

関連技術

• セマンティックセグメンテーション（Semantic Segmentation）
• 3D シーングラフ（3D Scene Graphs）
• CLIP
• Kimera
• RGB-D SLAM

関連用語

• SLAM
• Topological Map
• Embodied AI
• Task Planning
• Point Cloud
• Open-Vocabulary Detection

関連プロジェクト

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL