Active Perception
- 又称: active vision
- 类别: Sensing › Perception outputs
- 标签: perception, viewpoint-planning, uncertainty, 3d-reconstruction, information-gain
控制机器人如何以及在何处进行感知，例如移动相机或移动物体本身，使每次新的测量都能减少机器人对所需了解之事的不确定性。
定义
主动感知（active perception）把感知视为机器人所控制的东西，而不是被动接收的东西。主动感知的机器人不是处理到达的任何图像或扫描，而是选择自己的视点、注视方向、变焦、对焦或传感器设置，或把物体移到传感器前，使下一次测量对其任务尽可能有用。Ruzena Bajcsy 在她 1988 年的论文 Active Perception 中提出了这一思想，把它描述为研究感知的建模与控制策略；Aloimonos 及其同事在主动视觉方面的相关工作表明，一些对被动观察者而言是病态的视觉问题，在观察者能够移动时会变成良态的。
大多数现代表述通过不确定性来闭合回路。机器人对所关心的量（例如物体的形状、位姿、类别或地图）保持一个信念，预测每个可能的感知动作会如何改变这一信念，并选择期望收益最好的动作，收益常以熵或方差的减少来衡量，并与运动代价相权衡。用于 3D 重建的下一最佳视点规划（next-best-view planning）、用于跟踪的注视控制，以及用于物体识别的视点选择，都遵循这一模式。当决策跨越多个步骤时，这个问题自然就是一个 POMDP，可用信念空间规划器或树搜索求解；在实践中，许多系统使用贪心的单步选择或固定的扫描动作，例如在相机前旋转物体。
主动感知与交互式感知（interactive perception）密切相关，但两者并不相同。主动感知通过移动传感器或以不同方式呈现物体来改变传感器与场景的关系，而不需要改变场景本身。交互式感知则有意进行物理接触，以揭示无法通过其他方式看到的属性，例如推动物体把它从杂乱中分离出来，或拉开抽屉以找出它的关节。机器人信息采集在大范围空间上应用同样的原则，例如规划无人机的路径来绘制一片田地的地图。
为何重要
场景的单一视图通常是不完整的：物体会遮挡自身和彼此，有些属性只能从特定角度看到。选择看向哪里，可以让机器人用更少的测量和更少的时间来重建、识别或定位物体，这对抓取未知物体、检测和探索都很重要。
主要应用
- 用于 3D 重建和检测的下一最佳视点规划
- 从所选视点进行物体识别和位姿估计
- 人形机器人和移动机器人上的注视与相机控制
- 重新抓取前的手内物体扫描
- 利用无人机和地面机器人进行探索与建图
实际应用
一台带腕部相机的机械臂在规划精确抓取之前，需要一个陌生物体的完整 3D 模型。机器人先松松地抓住物体，然后把它举到一台固定的深度相机前，绕竖直轴旋转，并把深度图像融合成体素模型。在模型仍不确定的地方，例如被夹爪遮住的底面，系统按每个候选位姿能揭示多少未知体素来评估少数几个候选位姿，并移动到最好的那个。当期望收益降到阈值以下时停止，然后利用完成的模型重新抓取物体。
常见误解
- 主动感知是指使用激光雷达或结构光等主动传感器 — “主动”指的是对感知过程的控制，这同样适用于被动相机
- 主动感知与交互式感知是一回事 — 主动感知改变视点或传感器参数，而交互式感知通过物理操作场景来揭示信息
- 它总是需要最优的多步规划 — 许多有效的系统使用贪心的下一最佳视点选择或固定的扫描动作；只有在额外代价值得时才使用完整的 POMDP 规划
谁需要了解
- 从事 3D 重建的感知工程师
- 处理未知物体的操作研究人员
- 自主探索与检测系统开发者
- 研究信念空间规划和信息驱动规划的研究人员
相关技术
- 下一最佳视点规划（Next-Best-View Planning）
- 体素建图（Volumetric Mapping：TSDF、OctoMap）
- 云台（Pan-Tilt Units）
- 信息论规划（Information-Theoretic Planning）
- POMDP 求解器（POMDP Solvers）
相关术语
- Interactive Perception
- Robotic information gathering
- Eye-in-Hand Camera
- Belief-Space Planning
- Frontier-Based Exploration
- Partially Observable Markov Decision Process (POMDP)
相关项目
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action