Disentangled Relational Representations for Explaining and Learning from Demonstration

作者: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个带辅助标签损失的 β-VAE 学习空间关系嵌入，将桌面示范转化为符号规划和 PR2 末端执行器位姿。

为何重要

用户可以用部分标注的数据教给机器人一套空间词汇，之后机器人用同一套词汇解释新的示范，使其规划能被人阅读和检查。同样的嵌入还输入一个位姿回归器，将所教的符号与 PR2 上的手臂运动联系起来。

问题

示范学习取决于奖励和策略结构中的归纳偏置，而对于非机器人专家来说，演示一项任务比明确描述它更容易。用语言教导的机器人必须将“在……左边”或“在……上面”等抽象概念落地到其高维传感器数据流中。以往的关系模型需要大规模的完整标注数据集，且如同黑箱，或者假设已知环境模型、到符号的确定性映射以及完整的规划。

提出的方法

一个孪生 β-VAE 将目标物体和参照物体的掩码 RGBD 图像编码为物体嵌入，一个变分算子将每一对映射到一个低维关系空间，每个概念组对应一个轴（左/右、前/后、上/下、近/远、在上/不在上、在内/在外）。基于弱的、部分缺失的标签的重建项、KL 项和交叉熵项使这些轴与人类的概念对齐。测试时，对示范的嵌入轨迹进行似然比检验，恢复哪个物体在何时移动以及其关系如何变化，在所有示范中都出现的步骤构成规划，再由一个 MLP 回归出 6-DoF 末端执行器位姿，传给 MoveIt! 运动规划器。

关键见解

• 带有显式“未知”情况的弱标签，足以使潜在轴与人类的空间概念对齐；未标注的样本对仍可通过重建损失发挥作用。
• 将掩码重建与物体标签分类相结合，得到了最适合分割示范的关系空间；不带物体标签损失的模型产生的关系嵌入紧密聚集在零附近，作者将此与其较弱的分割效果联系起来。
• 对连续嵌入在“移动”高斯分布与“静止”高斯分布之间进行似然比检验，就足以找出哪个物体在何时移动。
• 只保留在每次示范中都出现的步骤，可以去掉偶然的移动，例如物体从另一物体左侧移到右侧途中经过其后方。
• 位姿回归器在对每个任务重要的轴上最准确：放到上面或放进里面时是位置，让两个杯子相对时是横滚和俯仰。

主要结果

• 在重复性的 BlocksWorld 示范上进行规划分割：完整模型（重建 + 物体标签损失）在左-右上得分 0.80，前-后 0.88，下-上 0.91，远-近 0.86，不在上-在上 0.76；而两项都不含的模型分别为 0.50、0.64、0.54、0.56 和 0.49。
• 例外：在外-内组上，完整模型得分 0.56，低于全部三个消融模型（0.66、0.62 和 0.78）。
• 单个物体移动的链式示范：所有模型在 C 形和跳过两项上的准确率都达到 1，在不在上-在上-不在上上约为 0.74。
• 随着使用的示范增多（最多 8 个），推断规划的平均编辑距离向真实值下降；由于部分示范中存在物体遮挡，一些曲线没有收敛。
• 数据：1,000 个合成 BlocksWorld 场景，每个场景 4 个物体（72,000 个关系，40% 未标注）；在 PR2 上，3 个遥操作任务 × 20 次示范，得到 2,400 个已标注和 6,000 个未标注的物体对；位姿预测在每个任务另外 10 次示范上进行测试。

局限

• 任务要点提取只适用于确定性任务，即单一的动作序列即可达成目标的任务。
• 未涉及抓取；假设机器人已经握着要移动的物体。
• 分割不是学习得到的：在机器人上，掩码来自预训练的 Mask R-CNN，在 BlocksWorld 中来自仿真器状态，并且指令必须遵循解析器预定义的模板。
• 部分示范中的物体遮挡使推断的规划无法收敛到真实值。
• 评估仅涵盖三个简单的桌面任务；组合任务以及“再往左一点”之类的修饰语留待未来工作。

对领域的影响

入围 CoRL 2019 最佳论文奖（Best Paper Award）决选，被引用 28 次。官方项目页面链接了实验代码、数据生成代码以及基于 CLEVR 的照片级真实感训练数据。

摘要

从示范中学习是人类用户指导机器人做出期望行为的一种有效方法。然而，对于大多数具有实际意义的非平凡任务，高效的示范学习在很大程度上取决于为奖励/代价和策略所选结构中的归纳偏置。我们研究这种归纳偏置来自与人类用户交流的情形。我们提出一种方法，其中学习智能体利用一个高参数量变分神经模型的信息瓶颈层，并结合辅助损失项，来落地（ground）空间关系等抽象概念。这些概念在自然语言指令中被提及，并体现在智能体从世界接收到的高维感知输入流中。我们在一个照片级真实感的合成环境中评估所学模型潜在空间的性质，并特别关注其对下游任务的可用性。此外，通过一系列受控的桌面操作实验，我们证明所学流形可用于将示范落地为符号规划，随后可在 PR2 机器人上执行这些规划。

链接

• arXiv 1907.13627: https://arxiv.org/abs/1907.13627
• DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
• PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
• 代码: https://github.com/yordanh/spatial_relations_experiments
• 项目主页: https://sites.google.com/view/explain-n-repeat/