Articulated object

• 类别: Planning & manipulation › Manipulation
• 标签: manipulation, 3d-perception, kinematics, mobile-manipulation, household-robotics

一种由通过关节（通常是转动关节或移动关节）相连的刚性部件组成的物体，例如门、抽屉、笔记本电脑或烤箱，当机器人操作它时，其各部件会相对彼此运动。

定义

铰接物体（Articulated object）由通过关节相连的刚性连杆组成，这些关节允许受约束的相对运动。在机器人操作中，这些关节通常只有一个自由度：门、盖子和笔记本电脑屏幕使用转动关节，抽屉和滑动面板使用移动关节。包括 FlowBot3D 在内的许多问题表述都假设有一个连杆固定在世界坐标系中，例如柜体或烤箱，因此任务是移动其他部件。一般而言，剪刀、钳子或桌上的笔记本电脑之类的铰接物体也可以整体移动。

操作这类物体意味着要遵守运动学约束。开门的机器人必须让手沿着绕铰链轴的圆弧运动；直接向后拉会产生很大的内力，或者丢失抓取。各种方法的区别在于建模的程度。基于模型的流程显式地估计运动学结构：哪些部件是连杆、关节类型、轴的方向和位置以及当前的关节状态，通常是通过观察部件的运动并拟合转动或移动模型来实现。基于学习的方法从单个点云或图像预测这一结构，或者跳过它，直接预测局部量，例如给出部件上每个点运动方向的铰接流（articulation flow），或者标出在哪里抓取和拉动的可供性图（affordance map）。交互式感知把两者结合起来：机器人把部件移动一点，观察结果并更新其估计。

铰接物体通常用与机器人相同的方式表示，即用 URDF 等格式表示为运动学树。PartNet-Mobility 等仿真数据集与 SAPIEN 仿真器配合使用，提供了大量带标注的家居物体，用于训练和测试。实际困难包括未知的关节限位、摩擦和弹簧载荷、需要单独动作的门闩和把手，以及关节轴被遮挡的局部视角。

为何重要

日常建成环境中有大量铰接物体：门、抽屉、柜子、冰箱和家电。家庭和服务机器人必须可靠地打开和关闭它们，这需要对运动学约束进行推理，而不是把目标当作一个自由刚体。

主要应用

• 在家庭和办公室中打开门、抽屉和柜子
• 操作烤箱、洗碗机和冰箱等家电
• 家庭移动操作基准
• 构建室内场景的交互式数字孪生
• 使用钳子和剪刀等带铰链的工具

实际应用

一个为移动机械臂编程以打开厨房橱柜的团队，用深度相机采集橱柜的点云。一个网络分割出柜门，并预测铰链轴或逐点运动方向，系统随后选择在把手或门边缘上的抓取位置。机械臂接着在阻抗控制下沿预测的圆弧运动，使轴估计中的误差被柔顺性吸收，而不是累积成很大的力。一旦柜门稍有移动，系统就根据手的实际路径重新估计轴，并沿修正后的圆弧继续运动，在测得的力表明到达关节限位时停止。

常见误解

• 开门是一个纯位置控制问题 — 手必须遵循关节的约束，因此柔顺控制或力控制与精确的位置同样重要
• 在行动之前必须精确知道关节轴 — 许多系统从粗略估计开始，并在交互过程中加以细化
• 铰接物体总是固定在世界中 — 许多基准为简单起见假设基座固定，但工具和便携设备也会整体移动

谁需要了解

• 移动操作和家庭操作工程师
• 从事 3D 场景理解的机器人感知研究人员
• 仿真和数据集构建者
• 服务机器人开发人员

相关技术

• PartNet-Mobility 数据集（PartNet-Mobility Dataset）
• SAPIEN 仿真器（SAPIEN Simulator）
• URDF
• 点云分割网络（Point Cloud Segmentation Networks）
• 运动学结构估计（Kinematic Structure Estimation）

相关术语

• Interactive Perception
• URDF
• Impedance Control
• Point Cloud
• Joint
• Affordance

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design