Affordance
- 又称: affordances, affordance detection, action possibilities
- 类别: Planning & manipulation › Manipulation
- 标签: perception, manipulation, grasping, robot-learning, cognitive-robotics
物体或环境为某个特定智能体提供的一种可能动作，例如可以被抓握的把手，或可以承托所放置物体的表面。
定义
可供性（Affordances）是环境为某个特定智能体提供的行动可能性。这一术语由心理学家 James J. Gibson 提出，他认为动物在一定程度上是根据自己能用世界做什么来感知世界的：椅子提供了坐的可能，把手提供了抓握的可能，平坦的表面提供了放置的可能。可供性是关系性的；它既取决于物体，也取决于智能体的身体和能力。
在机器人领域，可供性推理意味着预测哪些动作是可能的、以及在哪里可能。可供性检测用抓取、切割、倾倒、推动或容纳等动作来标注图像或点云的各个部分。可供性图为每个像素或位置赋予一个分数，例如在该点抓取成功的可能性有多大。这些表示把感知直接与动作联系起来，而不是停留在物体名称上。
这种关系性对机器人很重要。杯子的把手对能穿过它的手来说提供了抓握的可能，但对大型平行夹爪来说则不然；台阶对腿足机器人来说提供了攀登的可能，但对轮式机器人来说则不然。因此，好的可供性模型会考虑机器人的具身形态，而不仅仅是物体的类别。
借助大型语言模型和视觉模型，可供性还可以充当一种接地信号。语言模型可以为任务提出步骤，但它并不知道在当前场景中机器人实际能执行其中哪些步骤。SayCan 等系统把语言模型的建议与学习得到的、对每项技能能否从当前状态成功执行的估计结合起来，这正是 Gibson 意义上的可供性。
为何重要
机器人不仅需要知道物体是什么，还需要知道能用它们做什么。可供性把感知与动作联系起来，这就是它们贯穿于抓取、工具使用和语言引导操作之中的原因。
主要应用
- 基于图像或点云的抓取和放置预测
- 工具使用和部件级操作，例如把手、盖子和壶嘴
- 把语言指令落实到机器人实际能执行的动作上
- 在能或不能支撑机器人的地形上导航和运动
实际应用
构建家用操作系统的团队可能会训练一个网络，对 RGB-D 图像中的每个像素预测机器人的夹爪可以在哪里抓取、物体可以放在哪里。任务规划器随后查询这些图：要打开抽屉，它寻找一个可抓取的把手区域；要放下杯子，它寻找一个可放置的表面。训练数据常常来自机器人自己的抓取尝试，并按尝试是否成功进行标注，使预测反映的正是那个特定的夹爪。
常见误解
- 可供性只是物体本身的属性 — 它是物体与智能体的身体和能力之间的一种关系
- 可供性检测与物体识别是一回事 — 识别给出物体的名称，而可供性检测预测它支持哪些动作以及在哪里
- 为一个机器人学到的可供性可以直接迁移到另一个机器人 — 不同的夹爪或身体会改变哪些动作是可能的
谁需要了解
- 操作和抓取研究人员
- 构建面向动作的视觉模型的感知工程师
- 把语言模型与机器人技能联系起来的研究人员
相关技术
- 抓取规划（Grasp Planning）
- 语义分割（Semantic Segmentation）
- 视觉语言模型（Vision-Language Models）
- 任务规划（Task Planning）
- 点云处理（Point Cloud Processing）
相关术语
相关项目
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills