kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation
作者: Wei Gao, Russ Tedrake · ICRA 2021
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
带朝向的 3D 关键点充当闭环控制器的状态和动作，使一个策略即可在形状变化下处理 0.2 mm 销孔插入、LEGO、USB 和擦拭任务。
为何重要
由于状态和动作只涉及物体中与任务相关的部分，同一控制器可在不同物体实例、抓取位姿和初始构型之间通用，无需逐实例调参。该框架只固定接口，因此可以接入其他感知模块，以及基于模型或基于学习的智能体。
问题
闭环操作流程通常在实时 6-DOF 位姿估计器上构建反馈，但定义在固定几何模板上的位姿无法刻画类内较大的形状变化。原始的 kPAM 关键点方法可处理类别级拾取放置，但它假设可以对物体施加任意刚体变换，而这对销孔插入等接触丰富任务并不成立。
提出的方法
关键点被赋予一个局部朝向坐标系，机器人动作被表示为带朝向关键点的期望线/角速度或力/力矩，并通过关键点雅可比矩阵映射为关节指令。力/力矩读数被变换到关键点上作为虚拟传感器，输入和输出在一个名义坐标系中重新表达，以便重定向到新的放置位置；再由一个经带朝向关键点简化的 kPAM 拾取放置步骤，将物体带到起始构型。
关键见解
- 局部的、任务特定的带朝向关键点会忽略无关几何，例如机器人握着的手柄，这正是实现类别级泛化的原因。
- 如果物体是刚性的且被牢牢握住，就可以把它视为机器人的一部分，于是标准的关节空间控制器即可将关键点速度或力指令映射到关节。
- 将腕部力/力矩读数变换到关键点坐标系，使其与物体几何和抓取位姿无关。
- 在 80 cm 距离处约 5 mm 的视觉关键点误差远超 0.2 mm 的间隙，因此需要借助关键点和力/力矩进行闭环校正；开环回放会失败。
- 为 kPAM 关键点加入朝向后，在许多情况下无需再为拾取放置目标求解代价/约束优化问题。
主要结果
- 失败率（本方法对比开环基线）：白板擦拭 1/25（4%）对比 16/20（80%）；间隙 0.2 mm 的 3D 打印销孔 12/45（26%）对比 19/20（95%）。
- LEGO 积木 2/25（8%）对比 7/20（35%）；USB 接口 9/20（45%）对比 20/20（100%）。
- 6-DOF 位姿基线（关键点初始化加上与模板的 ICP）在擦拭上失败 10/25（40%），在打印销孔上 25/45（55%），在 LEGO 上 9/25（36%），在 USB 上 17/20（85%），部分试验需要安全停机。
- 擦拭任务调节名义 10 N 的法向力；若板擦前端关键点偏离白板边缘超过 2 cm，或力降至 5 N 以下，该次试验即判为失败。
- 对于 USB，短边约 3 mm 的误差就会导致失败；先粗后近的两步腕部相机方案将感知误差降至 2 mm。
- 通过模仿成功试验学到的智能体在全部三类销孔上都能工作，但并未超过手写控制器，且几乎复现了该控制器。
局限
- 稀疏关键点无法处理需要稠密几何的任务，例如识别销比孔大，或无碰撞的轨迹规划（作者自述）。
- 假设物体相对于夹爪静止，这将可施加的力限制在静摩擦锥内能够平衡的范围；腕部安装的相机无法检测夹爪与物体之间的滑移（作者自述）。
- 失败来自抓取失败以及大到反馈无法纠正的关键点误差；USB 驱动器因可抓取性问题必须预先固定在夹爪上（作者自述）。
- 任务特定的关键点必须由建模者针对每个任务选定。
- 机器人模型和详细设置参见附录，但该附录不在本 arXiv v1 版本中。
对领域的影响
它入围了 IEEE ICRA 2021 机器人操作最佳论文奖决选，被引用 91 次。论文称其视频演示和源代码已公开，并给出链接 https://sites.google.com/view/kpam2/ 。
摘要
本文探索面向精确、接触丰富任务的可泛化、从感知到动作的机器人操作。具体而言，我们提出一个闭环机器人操作框架，它能自动处理一类物体，即使存在可能未见过的物体实例，以及类内在形状、尺寸和外观上的显著差异。以往的方法通常在实时 6-DOF 位姿估计器之上构建反馈回路。然而，用相对于固定几何模板的参数化变换来表示物体，无法刻画类内较大的形状变化。因此，我们采用 kPAM [13] 为类别级拾取放置提出的基于关键点的物体表示，并将其扩展到用于接触丰富任务的闭环操作策略。我们首先为关键点补充局部朝向信息。利用带朝向的关键点，我们提出一种新颖的以物体为中心的动作表示，即调节这些带朝向关键点的线/角速度或力/力矩。这一建模出乎意料地通用：我们证明它能对一类形状、尺寸和外观各异的物体完成需要精度和灵巧性的接触丰富操作任务，例如在销和孔形状差异显著且间隙很小的情况下进行销孔插入。借助所提出的物体和动作表示，我们的框架也与机器人的抓取位姿和物体初始构型无关，便于集成和部署。视频演示和源代码可通过此链接获取。
链接
- arXiv 2102.06279: https://arxiv.org/abs/2102.06279
- DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
- PDF: https://arxiv.org/pdf/2102.06279v1
- 项目主页: https://sites.google.com/view/kpam2/