Active Perception

• 別名: active vision
• カテゴリ: Sensing › Perception outputs
• タグ: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

カメラや物体そのものを動かすなど、ロボットがどのように、どこでセンシングするかを制御し、新しい計測のたびに、ロボットが知る必要のあることについての不確かさを減らすこと。

定義

能動知覚（active perception）は、センシングを、ロボットが受け取るものではなく、ロボットが制御するものとして扱う。能動的に知覚するロボットは、届いた画像やスキャンをそのまま処理するのではなく、次の計測がタスクにとってできるだけ役立つように、視点、注視方向、ズーム、フォーカス、センサー設定を選び、あるいは物体をセンサーの前で動かす。Ruzena Bajcsy は 1988 年の論文 Active Perception でこの考え方を示し、知覚のためのモデル化と制御戦略の研究であると述べた。また、Aloimonos らによる能動視覚に関する関連研究は、受動的な観察者にとっては不良設定である視覚の問題の一部が、観察者が動けるときには良設定になることを示した。

現代の定式化の多くは、不確かさを通じてループを閉じる。ロボットは物体の形状、姿勢、クラス、地図といった関心のある量についての信念を保持し、考えられる各センシング行動がその信念をどう変えるかを予測し、期待利得が最も良い行動を選ぶ。利得はエントロピーや分散の減少で測られることが多く、移動コストとのトレードオフがとられる。 3D 再構成のためのネクストベストビュー計画（next-best-view planning）、追跡のための注視制御、物体認識のための視点選択は、いずれもこのパターンに従う。決定が複数ステップにわたる場合、問題は自然に POMDP となり、信念空間プランナーや木探索で解かれる。実際には、多くのシステムが貪欲な 1 ステップの選択や、カメラの前で物体を回転させるような固定の走査動作を用いる。

能動知覚はインタラクティブ知覚（interactive perception）と密接に関連しているが、両者は同じではない。能動知覚は、センサーを動かしたり物体の見せ方を変えたりすることで、シーンそのものを変える必要なしに、センサーとシーンの関係を変える。インタラクティブ知覚は、ほかの方法では見えない性質を明らかにするために意図的に物理的な接触を行う。たとえば、物体を押して散らかった中から分離したり、引き出しを引いてその関節を見つけたりする。ロボット情報収集は同じ原理を広い空間に適用するものであり、たとえば畑の地図を作るためにドローンの経路を計画する。

重要な理由

シーンを 1 つの視点から見ただけでは、たいてい不完全である。物体は自分自身や互いを遮蔽し、ある性質は特定の角度からしか見えない。どこを見るかを選ぶことで、ロボットはより少ない計測とより短い時間で物体を再構成し、認識し、位置を特定できる。これは未知物体の把持、検査、探査にとって重要である。

主な用途

• 3D 再構成と検査のためのネクストベストビュー計画
• 選んだ視点からの物体認識と姿勢推定
• ヒューマノイドや移動ロボットでの注視・カメラ制御
• 持ち替え前のハンド内での物体スキャン
• ドローンや地上ロボットによる探査と地図作成

実際の使われ方

手首にカメラを付けたロボットアームが、精密な把持を計画する前に、見慣れない物体の完全な 3D モデルを必要としている。物体を緩く把持したあと、ロボットはそれを固定の深度カメラの前に掲げて鉛直軸まわりに回転させ、深度画像をボリュメトリックモデルに統合する。グリッパに隠れた底面など、モデルがまだ不確かな箇所については、少数の候補姿勢を、それぞれがどれだけ多くの未知ボクセルを明らかにするかで評価し、最良の姿勢へ移動する。期待利得がしきい値を下回ると停止し、完成したモデルを使って物体を持ち替える。

よくある誤解

• 能動知覚とは LiDAR や構造化光のような能動センサーを使うことである — 「能動」はセンシングの過程を制御することを指し、受動的なカメラにも同じように当てはまる
• 能動知覚とインタラクティブ知覚は同じである — 能動知覚は視点やセンサーパラメータを変え、インタラクティブ知覚はシーンを物理的に操作して情報を明らかにする
• 常に最適な多段階の計画が必要である — 効果的なシステムの多くは貪欲なネクストベストビューの選択や固定の走査動作を用いており、完全な POMDP 計画は追加のコストに見合う場合に使われる

知っておくべき人

• 3D 再構成に取り組む知覚エンジニア
• 未知物体を扱うマニピュレーションの研究者
• 自律探査・検査システムの開発者
• 信念空間計画と情報駆動型計画の研究者

関連技術

• ネクストベストビュー計画（Next-Best-View Planning）
• ボリュメトリックマッピング（Volumetric Mapping：TSDF、OctoMap）
• パンチルトユニット（Pan-Tilt Units）
• 情報理論的計画（Information-Theoretic Planning）
• POMDP ソルバー（POMDP Solvers）

関連用語

• Interactive Perception
• Robotic information gathering
• Eye-in-Hand Camera
• Belief-Space Planning
• Frontier-Based Exploration
• Partially Observable Markov Decision Process (POMDP)

関連プロジェクト

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action