Active Perception

• 又稱: active vision
• 類別: Sensing › Perception outputs
• 標籤: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain

控制機器人如何感測、在哪裡感測，例如移動攝影機或移動物體本身，讓每一次新的量測都能減少機器人對其需要知道之事的不確定性。

定義

主動感知（active perception）把感測視為機器人可以控制的事，而不是被動接收的事。主動感知的機器人不是處理送進來的任何影像或掃描，而是選擇自己的視點、注視方向、變焦、對焦或感測器設定，或把物體移到感測器前方，讓下一次量測對它的任務盡可能有用。Ruzena Bajcsy 在她 1988 年的論文 Active Perception 中提出這個概念，將它描述為研究感知的建模與控制策略；Aloimonos 及其同事在主動視覺方面的相關研究則顯示，有些對被動觀察者而言是不適定的視覺問題，在觀察者能夠移動時會變成適定的。

大多數現代的表述是透過不確定性來閉合迴路。機器人對所關心的量（例如物體的形狀、姿態、類別或地圖）維持一個信念，預測每個可能的感測動作會如何改變這個信念，並選出期望增益最好的動作；增益常以熵或變異數的減少來衡量，並與移動成本相權衡。用於 3D 重建的下一最佳視點規劃（next-best-view planning）、用於追蹤的注視控制，以及用於物體辨識的視點選擇，都遵循這個模式。當決策橫跨好幾步時，這個問題自然就是一個 POMDP，可以用信念空間規劃器或樹搜尋來求解；實務上，許多系統採用貪婪的單步選擇或固定的掃描動作，例如在攝影機前旋轉物體。

主動感知與互動式感知（interactive perception）關係密切，但兩者並不相同。主動感知藉由移動感測器或以不同方式呈現物體，改變感測器與場景之間的關係，而不需要改變場景本身。互動式感知則刻意進行實體接觸，以揭露用其他方式看不到的性質，例如推動物體把它從雜亂中分開，或拉開抽屜以找出它的關節。機器人資訊蒐集在大範圍的空間上應用同樣的原則，例如規劃無人機的路徑來繪製一片田地的地圖。

為何重要

場景的單一視角通常並不完整：物體會遮住自己也遮住彼此，有些性質只有從特定角度才看得到。選擇要看向哪裡，能讓機器人以更少的量測、更短的時間重建、辨識或定位物體，這對抓取未知物體、檢測與探索都很重要。

主要應用

• 用於 3D 重建與檢測的下一最佳視點規劃
• 從選定的視點進行物體辨識與姿態估測
• 人形機器人與移動機器人上的注視與攝影機控制
• 重新抓取前的手中物體掃描
• 以無人機與地面機器人進行探索與建圖

實際應用

一支裝有腕部攝影機的機器手臂，在規劃精確的抓取之前，需要一個陌生物體的完整 3D 模型。機器人先鬆鬆地抓住物體，再把它拿到一台固定的深度攝影機前，繞垂直軸旋轉，並把深度影像融合成體素模型。在模型仍不確定的地方，例如被夾爪遮住的底面，系統依每個候選姿態能揭露多少未知體素，評估少數幾個候選姿態，並移動到最好的那一個。當期望增益低於門檻時便停止，然後利用完成的模型重新抓取物體。

常見誤解

• 主動感知是指使用光達或結構光等主動式感測器 — 「主動」指的是控制感測的過程，同樣適用於被動式攝影機
• 主動感知與互動式感知是同一回事 — 主動感知改變視點或感測器參數，而互動式感知則以實體操作場景來揭露資訊
• 它一定需要最佳的多步規劃 — 許多有效的系統採用貪婪的下一最佳視點選擇或固定的掃描動作；只有在額外成本值得時才使用完整的 POMDP 規劃

誰需要了解

• 從事 3D 重建的感知工程師
• 處理未知物體的操作研究人員
• 自主探索與檢測系統開發人員
• 研究信念空間規劃與資訊驅動規劃的研究人員

相關技術

• 下一最佳視點規劃（Next-Best-View Planning）
• 體素建圖（Volumetric Mapping：TSDF、OctoMap）
• 雲台（Pan-Tilt Units）
• 資訊理論規劃（Information-Theoretic Planning）
• POMDP 求解器（POMDP Solvers）

相關術語

• Interactive Perception
• Robotic information gathering
• Eye-in-Hand Camera
• Belief-Space Planning
• Frontier-Based Exploration
• Partially Observable Markov Decision Process (POMDP)

相關專案

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action