Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

作者: Andrei Haidu, Michael Beetz · ICRA 2021

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

人们在物理模拟的 VR 世界中完成厨房任务；在线监视器将他们的动作切分为伸手、抓取、搬运和放下事件，并存入 KnowRob 供机器人查询。

为何重要

演示数据产出时就已按机器人共享的本体完成切分和标注，包括虚拟身体部位，因此无需人工标注。情景可以按动作类型、物体类型和部件关系进行回放和查询，例如所有作用于属于冰箱门的把手上的抓取。

问题

学习操作的机器人通常需要比合理投入所能提供的更多经验，因此每次演示都应携带更多结构化信息。作者早先的 AMEvA 系统只追踪头部和双手，允许用户到达现实中不可能到达的位置，无法使用肘部或脚等其他身体部位，并且动作表示较为粗糙。

提出的方法

用户在以 NVIDIA PhysX 模拟的 Unreal Engine 4 环境中行动，具有全身和视线追踪；双手由 3D PID 控制器驱动，因此重物会往回拉或滑落，抓取则基于预定义的抓取方式由物理产生。亚符号记录器将逐帧的世界状态和视线存入 MongoDB，而带有手部接触传感器阵列和文法的在线监视器将抓取、接触、支撑关系（supported-by）以及拾取放置子动作作为 OWL 事件记录到 KnowRob 中。

关键见解

• 通过 PID 控制器而不是直接映射来驱动虚拟手，使物体重量产生影响，从而促使人采用真实世界中的策略，例如用双手抬起。
• 手指、拇指和手掌上的接触传感器阵列将真正的抓取与单纯的接触区分开：抓取需要来自至少两组不同阵列的接触。
• 没有明确起止特征的运动阶段（伸手的开始、拿起的结束、放下的开始）可借助感兴趣区域以及对缓存的物体运动进行回溯来界定。
• 支撑关系（supported-by）被检测为相对竖直速度接近零的接触，因此放在托盘上搬运的物体仍被视为由托盘支撑。
• 事件监视器跟随物理引擎的休眠状态，并对静止物体关闭，作者称这使系统能够实时扩展到数千个物体。

主要结果

• 论文未报告定量的准确度或时间评估；其结果为定性演示和示例查询。
• 用单手侧向抓取抬起的装满食物的盘子会因自身重量从手中扭脱，而双手抓取则能成功抬起。
• 拾取放置动作被在线切分为伸手、固定、滑动或拿起、搬运和放下阶段，如图 5 (a)–(j) 所示。
• KnowRob 查询可检索并回放：对麦片盒的滑动动作、对属于冰箱门部件的把手的抓取，以及由子动作组成的拾取放置动作。
• 每个情景的 MongoDB 集合在情景结束后建立 B 树索引，搜索时间为 O(log n)。

局限

• 全身追踪是单向的：虚拟化身可以推动物体却得不到反馈，因此用户可能穿过墙壁或家具，并使模拟失稳（作者自述）。
• 伸手的开始和拿起的结束没有明显特征，只能用感兴趣区域近似（作者自述）。
• 抓取检测器不区分抓取情境，例如搬运物体与握住抽屉把手或不可移动家具的区别（作者自述）。
• 视线虽被记录，但尚未用于改进动作检测，大型公开数据集仍属于未来工作（作者自述）。
• 未报告机器人实验，也未报告对事件检测的定量评估。

对领域的影响

它入围了 IEEE ICRA 2021 人机交互（HRI）最佳论文奖决选，被引用 11 次。论文未说明是否发布代码或数据；它将通过 openEASE 发布大型数据集列为未来工作。

摘要

本文提出一种系统，能够从虚拟环境中采集并标注由人执行、机器人可理解的日常活动。人的动作借助具备全身追踪和眼动追踪能力的现成虚拟现实设备映射到模拟世界中。虚拟世界中的所有交互都经过物理模拟，因此动作及其效果与真实世界密切相关。在活动执行期间，一个亚符号数据记录器逐帧记录环境和人的视线，从而支持离线场景重现和回放。与物理引擎相结合，在线监视器（即符号数据记录器）使用多种文法解析并记录模拟世界中的事件、动作及其效果。

链接

• arXiv 2011.13689: https://arxiv.org/abs/2011.13689
• DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
• PDF: https://arxiv.org/pdf/2011.13689v1