RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

作者: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

RoboCook 用每种工具 20 分钟真实数据训练的 GNN 对面团与工具的相互作用建模，用 PointNet++ 分类器选择工具，并使用 15 种可互换工具制作饺子。

为何重要

该系统展示了一台配有换工具装置的通用机械臂完成九步包饺子流程，并能在有人于任务中途使面团变形、添加面团或替换面团时恢复。由于策略每个动作只需一次前向计算，规划只需数秒，而使用同一学习模型的基于优化的规划器则需要数分钟。

问题

包饺子这样的长时域软体任务，既需要离散地选择使用哪种工具，也需要连续地选择如何移动工具，而弹塑性的面团的变形方式很难建模。以往学习动力学的方法只处理单一工具的短时域任务，而弹塑性物体的仿真器存在明显的仿真到现实差距。

提出的方法

四台 RGB-D 相机给出一个合并的点云，由此将面团重建为水密网格，并重新采样为 300 个表面粒子，再与工具网格上的粒子拼接。一个在每种工具约 20 分钟随机探索数据上训练的 GNN 预测面团如何变形；一个 PointNet++ 分类器为下一个子目标提出三个最可能的工具；一个在 GNN 生成的合成数据上训练的 PointNet++ 策略，为夹取、按压和擀压输出动作参数，而其他工具使用手工编写的规划器。每个动作之后通过视觉反馈形成闭环。

关键见解

训练 GNN 只预测未来两步，就足以在推理时进行准确的 15 步预测。
在 GNN 合成 rollout 上离线训练的策略覆盖整个动作空间，并且优于使用相同 GNN 和工具分类器的在线规划器（梯度下降、CEM 和 RL）。
每种工具的动作空间只有两到四个参数，由 6-DoF 末端执行器空间去除冗余自由度得到，使规划保持可解。
仅在由面粉、水和盐制成的面团上训练的动力学模型，无需重新训练就能在 Play-Doh、风干黏土和模型泡沫上塑造出字母 K。
基于 PointNet 的工具分类器比基于 ResNet 的分类器泛化得更好，作者将此归因于它能够编码深度。

主要结果

字母塑形（R、O、B、C、K）：100 名人类受试者识别 RoboCook 所做字母的准确率为 0.90 ± 0.11，而 RoboCraft 为 0.54，CEM+GNN 为 0.52，CEM+MPM 为 0.48，RL+GNN 为 0.17。
点云指标：Chamfer 距离 0.0062 ± 0.0007，Earth Mover's 距离 0.0042 ± 0.0006，为五种方法中最低。
规划时间为 9.3 ± 1.5 s，而 RoboCraft 为 613.7 s，CEM+GNN 为 756.0 s，CEM+MPM 为 1486.7 s，RL+GNN 为 1867.9 s；完整的包饺子流程大约需要 10 s 的规划。
工具分类器在其训练数据的测试划分上达到 0.996 的实例准确率。
使用相同工具的五名人类受试者，在自己选择工具时明显不如 RoboCook，而在给定工具顺序和子目标时则与其相当或更差。

局限

作者指出：面团偶尔会粘在工具上，需要一个自动纠错系统。
作者指出：系统依赖人类对每种工具动作空间的先验。
作者指出：子目标由人类定义；要去除它们，需要更高层次的时间抽象和任务级规划。
作者指出：线缆和布料需要额外的拓扑估计。
学习的动力学和策略只涵盖夹爪、擀棒、压具和冲具；刀、切模、推板和铲子使用手工编写的规划器，钩子动作是预先编码的。

对领域的影响

荣获 CoRL 2023 最佳系统论文奖；被引用 137 次（按给定数字）。官方项目页面链接了 RoboCook 代码仓库和一个数据文件夹。

摘要

人类通过灵活使用工具，擅长完成复杂的长时域软体操作任务：烤面包需要用刀切面团，用擀面杖把它擀平。工具使用常被视为人类认知的标志，但由于理解工具与物体之间相互作用的困难，自主机器人对工具的使用仍然有限。在这里，我们开发了一个智能机器人系统 RoboCook，它能够使用各种工具感知、建模和操作弹塑性物体。RoboCook 使用点云场景表示，用图神经网络（GNN）对工具与物体的相互作用建模，并将工具分类与自监督策略学习相结合来制定操作计划。我们证明，每种工具仅需 20 分钟的真实世界交互数据，一台通用机械臂就能学会复杂的长时域软物体操作任务，例如包饺子和制作字母饼干。大量评估表明，RoboCook 显著优于最先进的方法，对严重的外部扰动表现出鲁棒性，并展现出对不同材料的适应能力。

链接

arXiv 2306.14447: https://arxiv.org/abs/2306.14447
DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
代码: https://github.com/hshi74/robocook
项目主页: https://hshi74.github.io/robocook