Learning to Share Autonomy across Repeated Interaction
作者: Ananth Jonnavittula, Dylan P. Losey · IROS 2021
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
无需预定义目标列表的共享自主：机器人从重复的遥操作中学习任务，从摇杆输入中识别任务，模仿以往的执行过程，并在没有把握时交还控制权。
为何重要
辅助机械臂的用户会重复相同的日常任务，因此一只能从这些重复中学习的机械臂可以减少遥操作的工作量，而无需任何人编写目标列表。基于判别器的控制权交还避免了目标推断方法中出现的僵局：在那种情况下，当用户朝向一个未知目标时，机器人会进行抵抗。
问题
用于辅助机械臂的共享自主方法需要先验知识，例如用户可能到达的目标集合或用户所优化的奖励。当用户尝试该集合之外的任务时，例如打开一个机器人从未被告知的冰箱，机器人无法提供帮助，甚至可能推向错误的已知目标。
提出的方法
机器人存储每一次遥操作交互，并训练一个编码器，把用户当前的状态和摇杆指令映射为一个潜在任务；同时训练一个解码器策略，输出复现用户在该任务中以往行为的辅助关节速度。一个单独的判别器被训练来区分见过的交互与其加噪变形，用以对当前交互的熟悉程度打分，而该分数决定机器人动作与人类动作之间的混合系数 β。模型在两次交互之间重新训练，从而持续学习新任务。
关键见解
- 日常生活中的重复正是使学习协助成为可能的原因；机器人从不需要被告知用户想要什么任务。
- 在选择动作之前先把交互编码为一个潜在任务，比直接以交互为条件的行为克隆（DAgger）更能提高到达目标的效果。
- 用一个单独的判别器来判断熟悉度，在已知任务上给出的置信度比 DropoutDAgger 的自评估不确定性更稳定；后者会在轻微偏离时就交还控制权。
- 只用人的指令而不是混合后的动作作为编码器的输入，可以避免反馈回路，即机器人用自己的动作让自己确信某个目标。
- 基于固定目标集合的贝叶斯目标推断在未知任务上可能陷入僵局，正如附录所示：用户打开抽屉时，机器人却朝附近的记事本拉。
主要结果
- 在包含三个目标、3 或 5 次训练演示的到达任务消融实验中，用户只引导最初的 0.5 s，基于编码器的方法到达目标时的最终状态误差低于使用相同数据的 DAgger。
- 在一个举起玻璃杯技能有五次先前重复的情况下，该方法自始至终保持有把握，而 DropoutDAgger 很少提供协助。
- 在一个抽屉技能的五次重复上训练后，该方法在所有测试噪声水平下都减少了人在抽屉任务上的工作量，在一个未见过的够取罐子任务上所需工作量也不多于 No Assist。
- 在一项有 10 名参与者的研究中，到达两个已知目标的人类工作量在该方法与贝叶斯共享自主基线之间没有显著差异。
- 当参与者将两个新任务各执行 9 次、每三次试验重新训练一次时，机器人在 6 次演示上训练后识别出抽屉技能并提供了协助；在所有任务上训练的模型协助原有目标的效果与针对特定任务的模型大致相当。
- 作者表示，该方法可以从实际可行数量的交互（少于 10 次）中学习。
局限
- 该方法没有显式建模协同适应：随着用户信任机器人，他们可能改变遥操作的方式，例如完全停止摇杆输入。
- 用户研究的 10 名参与者来自大学社区，而不是身患肢体残障的用户。
- 实验在简化的家庭环境中使用固定安装的 7-DoF 机械臂，而不是轮椅搭载的机械臂。
- 仿真实验使用在指令上加入高斯噪声的模拟操作员，而不是真实用户。
对领域的影响
该论文入围 IROS 2021 最佳 RoboCup 论文奖决选，被引用 16 次。论文附有实验视频链接；未说明是否发布代码或数据。
摘要
轮椅搭载的机械臂（以及其他辅助机器人）应当帮助其用户完成日常任务。机器人提供这种帮助的一种方式是共享自主（shared autonomy）。在共享自主中，人和机器人都对机器人的运动保持控制：当机器人越来越确信自己理解了人想要什么时，它会越来越多地介入以使任务自动化。但机器人首先如何知道人可能想执行哪些任务？如今的共享自主方法往往依赖先验知识：例如，机器人必须预先知道人可能的目标集合。然而从长期看，这种先验知识不可避免地会失效——人迟早会去够一个机器人没有预料到的目标。在本文中，我们提出一种利用重复交互的共享自主学习方法。如果人在每次交互中执行的都是完全不同的任务，那么学习如何协助人将是不可能的：但我们的洞见是，身患肢体残障的用户每天都会重复重要的任务（例如打开冰箱、煮咖啡和吃晚饭）。我们提出一种算法，利用这些重复交互来识别人的任务、复现相似的演示，并在没有把握时交还控制权。随着人反复与该机器人协作，我们的方法会持续学习协助那些事先从未指定过的任务：这些任务既包括离散目标（例如够到一个杯子），也包括连续技能（例如打开抽屉）。通过仿真和一项线下用户研究，我们证明采用我们方法的机器人在已知目标上与现有共享自主方法相当，在新任务上则优于模仿学习基线。视频见：https://youtu.be/NazeLVbQ2og
链接
- arXiv 2107.09650: https://arxiv.org/abs/2107.09650
- DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
- PDF: https://arxiv.org/pdf/2107.09650v1