APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

作者: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

APriCoT 将一次手内重抓取拆分为由脱离、跨越和接触构成的四个短 RL 基元，使仿真中的 Shadow Hand Lite 能把物体转半圈并达到目标抓握。

为何重要

大多数基于学习的手内操作只奖励旋转本身，而不检查最终抓握，而最终抓握决定了工具随后能否使用。论文表明，按接触状态进行分解使这项任务变得可学习，而两个已发表的基线在该任务上失败了。由于各基元共享同一奖励，可以添加新的转移而无需重新设计奖励。

问题

手内工具操作既要在手中移动工具，又要以适合下一项任务的抓握结束，例如握住一个盒子，使其开口不被遮挡以便倾倒。用 RL 学习这一点很困难：目标抓握要经过多次接触状态变化才能达到，使奖励变得稀疏；而且所需的手指运动随接触状态变化很大，迫使智能体进行广泛且样本效率低下的探索。

提出的方法

APriCoT 基于三种动作表示（脱离、跨越、接触）构建接触状态转移图，只允许满足以下条件的状态：抓握为可抓持（prehensile）抓握、至少三根手指接触物体，且手指保持拇指-食指-中指-无名指的顺序。目标任务是将细长物体旋转半圈并回到精确抓握，它被拆分为四个基元，每个基元让一根手指越过物体；每个基元一个策略，共享一个逐步奖励，且每个策略都从前一个策略的输出状态开始。策略在 Isaac Gym 中用 PPO 以教师-学生方式训练，其中学生根据指令关节角和测量关节角推断物体形状。

关键见解

• 将重抓取描述为接触状态转移，可以把一个长时程、奖励稀疏的任务变成若干短基元，在每个基元中手指执行相似的运动。
• 让每个基元都从最稳定的状态（所有手指都接触物体）开始并以该状态结束，使初始状态在仿真中易于采样，也便于在策略之间衔接。
• 在完整的脱离-跨越-接触序列上训练每个基元，而不是单独训练每一步，可以避免多余的动作，例如在跨越前把手指抬得过高。
• 指令关节角与测量关节角之间的差异使学生策略能够编码物体形状；对其隐变量做 t-SNE 后，结果按形状聚类。

主要结果

• 两个基线都未能完成该任务：一种改进的手内旋转方法（Baseline A）旋转了物体，但未达到期望的抓握；一种针对可捏取物体的方法（Baseline B）在跨越过程中使物体滚动并掉落。
• APriCoT 完成了半圈旋转并达到期望的精确抓握；引言部分报告其对各种形状物体的成功率为 90%。
• 在鲁棒性测试中（每种形状采样 1,000 个初始状态，深度 0.02-0.035 m，ε2 从 ≃0 到 1），第 IV-B 节报告几乎所有形状的成功率都高于 90%，在训练中未使用的形状上成功率相近。
• 第 IV-B 节还报告，对较厚的椭圆形物体（深度大、ε2 高）成功率约为 75%，作者将其归因于曲率使物体向侧面滑动。
• 训练在 NVIDIA RTX 3090 GPU 上的 Isaac Gym 中运行 32,768 个并行环境，仿真频率 120 Hz，控制频率 20 Hz。

局限

• 所有实验均在仿真中进行；作者预计领域随机化和教师-学生学习有助于仿真到现实迁移，但未在硬件上测试。
• 仅凭关节角无法检测诸如横滚旋转之类的物体位姿，而遗漏这些信息可能使物体失稳并掉落；作者计划加入视觉信息。
• 只关注接触状态转移，并不能保证操作后物体处于期望的朝向。
• 接触状态转移图是人工设计的，作者认为在许多操作上这需要大量人力。
• 只演示了一种操作（转半圈后回到精确抓握，四个基元）。

对领域的影响

获得 Humanoids 2024 最佳口头报告奖，被引用 2 次。论文列出了奖励超参数、随机化范围和网络规模，未说明是否发布代码或模型。

摘要

手内工具操作是这样一种操作：不仅要在手中操纵工具（即手内操作），还要在操作完成后实现适合任务的抓握。本研究旨在通过深度强化学习实现手内工具操作技能。学习这一技能的困难在于，这种操作需要 (A) 探索长期的接触状态变化以实现期望的抓握，以及 (B) 依接触状态转移而高度多样化的运动。(A) 导致成功抓握的奖励稀疏，(B) 则要求 RL 智能体在状态-动作空间中广泛探索以学习高度多样化的动作，从而导致样本效率低下。为解决这些问题，本研究提出基于接触状态转移的动作基元（Action Primitives based on Contact-state Transition，APriCoT）。APriCoT 基于三种动作表示（脱离、跨越、接触），将操作描述为接触状态转移，从而把操作分解为短期的动作基元。在每个动作基元中，手指只需执行短期且相似的动作。通过为每个基元训练一个策略，我们可以缓解 (A) 和 (B) 带来的问题。本研究以一项基本操作作为手内工具操作的示例：将以精确抓握握持的细长物体旋转半圈，并回到初始抓握。实验结果表明，与现有研究不同，我们的方法在旋转和实现期望抓握两方面都取得了成功。此外，还发现该策略对物体形状的变化具有鲁棒性。

链接

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1