Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

作者: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

基于粒子的 GNN 在行为基元的关键位姿处预测物体运动；对照来自一次演示的 3-4 个关键帧搜索基元参数，使机械臂能将物体放入杂乱的货架。

为何重要

网络只在每个基元的关键位姿处被查询，作者指出，这减少了前向计算次数以及长时域上的累积预测误差。该系统仅在仿真的箱形物体上训练，却零样本迁移到了真实的 Kinova Gen3 机械臂上，并能处理分布外的物体，例如瓶子、粘毛滚筒以及较重或梯形的物品。

问题

要把物体放入杂乱的货架，首先需要推动和滑动已在货架上的物体来腾出空间，这涉及难以建模的多物体接触和摩擦，并且时域很长。预编程系统无法适应新的货架布置，类别级操作方法需要昂贵的数据采集和人工标注，而无模型强化学习需要太长的训练时间，无法在真实机器人上从零学会长时域任务。

提出的方法

每个物体都被建模为均匀分布的粒子，一个在仿真中训练的图神经网络预测每个物体在一个行为基元（扫动、推动或搬运）之后的刚体变换；图中包含夹爪到物体的边、指向静态货架和桌面粒子的边，以及一个针对预测夹爪位置的辅助损失。运行时，随机射击法对每个基元的参数进行采样，网络预测结果，预测的物体位置最接近演示关键帧的那组参数会由操作空间控制器（Operational Space Controller）执行。

关键见解

把机器人动作表示为带有规划运动的夹爪粒子，并在动态物体与静态货架和桌面粒子之间添加边，在较难的扫动和搬运基元上，比 RoboCraft 式的 GNN 预测得更好。
只在基元关键位姿处而不是在每个控制步预测物体状态，可减少长时域任务中的前向计算次数和累积误差。
在同一个仿真长时域上架任务中，学习的动力学模型结合搜索优于无模型 RL（SAC、PPO）以及使用基元参数化动作空间的 PPO。
作为基元参数的优化器，随机射击法、交叉熵方法和梯度下降的表现相近。
2 技能集合（推动和搬运）在真实世界中达到了与 3 技能集合相同的 95% 成功率，作者将此归因于模型捕捉到了被抓持物体与货架上物体之间的相互作用。

主要结果

真实世界，六种设置，每种 10 次试验：3 种技能时成功率 95%，2 种技能时 95%，而不进行动力学预测的手工调节启发式方法为 18%。
在同一流程中以 RoboCraft 作为学习的动力学模型：表 3 报告的平均值为 48%，而同一表中它在六种设置下的得分（10 次中分别为 4、7、4、6、7 和 5 次）加起来是 33/60，即 55%。
仿真控制误差（MSE）：本方法为 0.905 mm，而参数化 PPO 为 22.925 mm，启发式方法为 34.861 mm，PPO 为 87.479 mm，SAC 为 265.411 mm。
搬运基元的预测误差：MSE 0.666 mm，EMD 31.232 mm，Chamfer 距离 38.068 mm，而 RoboCraft 为 1.091、42.162 和 55.615 mm；在较简单的推动基元上，RoboCraft 的 MSE 更低（0.216 对 0.292 mm），差距在一个标准差以内。
可变形物体（附录）：3 种技能时 6/10，2 种技能时 4/10，而 RoboCraft 为 2/10，启发式方法为 0/10。
训练数据：每个基元 300 个随机参数回合；推动和扫动的预测精度在约 50 个样本时趋于平稳，搬运在约 140 个样本时趋于平稳。

局限

依赖人工从演示中标注有序关键帧，作者表示这可能限制方法向更大、更复杂场景的扩展。
在训练和推理中，物体都被表示为箱形点云，作者表示这可能无法反映相互作用和接触更复杂的真实物体几何。
真实世界的感知把每个物体都当作长方体，并通过 SIFT 匹配，将其与事先为已知物体数据库拍摄的侧面和顶面图像进行比对来识别。
对于可变形物体，成功率下降（最好为 6/10）。
基元库（扫动、推动、搬运）是手工设计的；作者将基元设计和技能组合列为开放的研究方向。

对领域的影响

入围 CoRL 2023 最佳论文 / 最佳学生论文奖决选，被引用 32 次。论文贡献了一个基于 robosuite 和 MuJoCo 构建的长时域操作上架基准；没有给出代码或数据链接。

摘要

上架（stowing），即把物体放入杂乱的货架或料箱中，是仓储和制造作业中的一项常见任务。然而，这项任务目前仍主要由人类工人完成，因为复杂的多物体相互作用以及任务的长时域特性，使上架难以自动化。以往的工作通常需要大量数据采集，以及对不同物体类别的语义先验进行昂贵的人工标注。本文提出了一种方法，从物体相互作用的预测模型和一次带行为基元的演示中，学习可泛化的机器人上架策略。我们提出了一个新颖的框架，利用图神经网络在行为基元的参数空间内预测物体相互作用。我们进一步采用基元增强的轨迹优化，在预定义的异构行为基元库中搜索参数，以实例化控制动作。我们的框架使机器人能够凭借来自单次演示的少量关键帧（3-4 个）熟练地执行长时域上架任务。尽管只在仿真中训练，我们的框架仍展现出卓越的泛化能力。它能高效地适应各种真实世界条件，包括不同的货架宽度、变化的物体数量，以及尺寸和形状等属性各异的物体。

链接

arXiv 2309.16873: https://arxiv.org/abs/2309.16873
DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
PDF: https://arxiv.org/pdf/2309.16873v1