Interactive Perception

• 类别: Planning & manipulation › Manipulation
• 标签: manipulation, perception, active-sensing, partial-observability, exploration

机器人通过推、拉或移动物体，有意地作用于环境，以揭示被动观察无法提供的信息的感知方式。

定义

交互式感知（Interactive perception）把物理交互视为感知的一部分。机器人不是试图从静态视图中推断出一切，而是采取改变场景的动作并观察结果：推动一堆物体以分开相互接触的物体，拉动抽屉以了解它如何运动，提起箱子以估计其重量，或者敲击表面以听出它是由什么制成的。由已知动作引起的变化携带着单幅图像所隐藏的属性信息，例如物体边界、质量、摩擦和铰接方式。

这一思想建立在主动感知的基础上（在主动感知中，机器人选择把传感器指向哪里或移到哪里），但更进一步，它改变的是世界本身。Jeannette Bohg 及其同事在 2017 年的一篇综述中，把它表述为利用机器人的动作与这些动作所产生的感官信号之间的规律性。从形式上看，机器人面对的是一个部分可观测的问题：它关心的状态是隐变量，选择动作时既要减少关于该状态的不确定性，也要推进任务。这把交互式感知与 POMDP、贝叶斯状态估计和信息采集规划器联系在一起。

其用途从分割和铰接估计，一直到判断任务是否成功。例如，当答案无法看到时，机器人可以拽一拽门以检查它是否已锁上，或者摇一摇容器以判断它是否为空。代价是时间和风险：每个探索性动作都要花费精力，并且可能扰动或损坏场景，因此系统必须判断这些信息何时值得进行这样的交互。

为何重要

许多对操作很重要的属性，例如两个物体是否连在一起、盖子如何打开或某物有多重，都无法从图片中读出。交互式感知为机器人提供了一种系统性的查明方法，使操作在杂乱和陌生的环境中更加可靠。

主要应用

• 估计门、抽屉和盖子的铰接方式
• 通过把物体推开来分割杂乱场景
• 估计质量、摩擦及其他物理属性
• 在结果不可见时检查任务是否成功
• 对物体形状进行触觉探索

实际应用

一台机器人被要求打开厨房里陌生的橱柜。对于每个把手，它抓住把手并施加一个小的探索性拉力，同时记录夹爪的运动和腕部的力。如果把手沿直线移动，它就拟合一个移动关节；如果沿圆弧移动，它就拟合一个转动关节并估计铰链轴。估计出的模型随后在柔顺控制下引导完整的开启动作，并且随着动作的进行不断细化估计。如果把手在安全的力限制下不动，机器人就把该橱柜记录为上锁或卡住，而不是更用力地拉。

常见误解

• 交互式感知与主动感知相同 — 主动感知移动的是传感器，而交互式感知通过物理接触改变环境
• 探索性动作是浪费时间 — 一次简短的交互可以消除原本会导致抓取失败或错误判断成功与否的不确定性
• 它需要触觉传感器 — 视觉、力/力矩传感、关节编码器和声音都可以观察到动作的效果

谁需要了解

• 操作研究人员
• 构建家庭机器人和服务机器人的工程师
• 研究铰接物体和可变形物体的感知研究人员
• 主动学习和信息采集研究人员

相关技术

• 主动感知（Active Perception）
• 铰接估计（Articulation Estimation）
• 贝叶斯滤波（Bayesian Filtering）
• 力/力矩传感（Force-Torque Sensing）
• 触觉传感（Tactile Sensing）

相关术语

• Articulated object
• Robotic information gathering
• Partially Observable Markov Decision Process (POMDP)
• Force/Torque Sensor
• Tactile Sensor
• Affordance

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation