Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

作者: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

OPA 在合成的趋近与避让路径上预训练一个图网络策略，然后只更新每个物体的小型偏好特征来适应一次人类纠正，用时不到 0.5 s。

为何重要

将固定的交互动力学与针对特定物体的偏好分开，使一次纠正就能改变针对某一个物体的行为，而无需重新训练策略。紧凑的潜在空间可以表达预训练中没有的行为，例如 SO(3) 中任意的相对朝向；而且由于数据是合成的，预训练不需要任何人类示范。

问题

当有人在任务中途纠正机器人时，机器人需要改变自身行为，例如工厂新增一道扫描工序时。现有的在线方法要么需要多次重复的交互回合，要么把人类偏好建模为一组固定的、人工挑选的奖励特征上的权重，这限制了可学习的内容，且难以迁移到新任务。

提出的方法

OPA 将场景表示为一个图，机器人和物体作为节点，每个物体到机器人之间有一条边。用于位置和朝向的共享关系网络以人工设计的相对状态特征以及每个物体的一个小型学习偏好特征作为输入（位置为 1 维；朝向为 1 维潜变量加一个四元数旋转偏移），聚合器对其输出求和并归一化，得到一个动作。策略在合成的 Elastic Band 轨迹上预训练；人类施加扰动后，只在一次想象的 rollout 上用几步梯度更新每个物体的特征，而共享网络权重保持冻结。

关键见解

• 将每个物体的偏好特征视为可训练权重，可把自适应限制在紧凑的潜在空间中：位置只需 5 次梯度更新，朝向只需 20 次。
• 预训练只涵盖四类交互（靠近或远离；忽略物体朝向，或以固定偏移匹配物体朝向），但自适应却产生了新行为，例如相对于物体的任意 3D 朝向。
• 模型结构使学到的权重可解释：学到的 2D 旋转偏移在训练中收敛到真值偏移。
• 与势场方法不同，关系网络不被强制输出与机器人–物体向量平行的力，从而避免了障碍物与目标位于同一方向时的失败。
• 将排斥、吸引和目标物体的位置特征分别初始化为 1.0、0.5 和 0.0，使特征之间的插值产生插值后的行为，因此新物体可以从中点处的“忽略”开始。

主要结果

• 用户研究有 10 名 CMU 学生参与，涉及三个仿真操作臂任务，用户通过电脑按键施加扰动。
• 任务 1（端着易碎的杯子在桌面上方低处移动）：与一个在扰动期间切换到重力补偿的基线相比，用户认为 OPA 更能理解他们的偏好、所需操作更少，且可预测性略高。
• 任务 2（以选定的朝向展示一只平底锅）：平均朝向误差 0.2576 rad，为最大可能值 π/2 的 16%；满意度四分位数在五分制量表上为 3.5 / 4.0 / 4.0。
• 任务 3（在放入收纳箱之前增加一道条形码扫描步骤）：“理解了我的意图”的四分位数在五分制量表上为 4.0 / 4.0 / 5.0。
• 在线自适应总共用时不到 0.5 s；用 9 个并行进程生成 3000 条合成轨迹需要 4 分钟，之后在笔记本 GPU 上每个网络训练 100 个 epoch 需要 12 分钟。

局限

• 作者指出，OPA 依赖以物体为中心、以趋近和避让来表述的动作；抓取和施力（例如擦拭表面）不在其处理范围内。
• 它假设每个物体都能被检测、唯一识别并提取其 6D 位姿；非结构化环境留待未来工作。
• 结果对自适应学习率和梯度步数很敏感：在任务 1 中，有两名用户看到机器人在桌子附近徘徊或忽略目标；在任务 3 中，有两名用户表示碗本应更靠近扫描器。
• 不相对于某个物体的、以任务为中心的目标（例如绘图）不在覆盖范围内。
• 用户研究使用的是用键盘按键施加扰动的仿真操作臂，而不是与真实机器人的物理接触。

对领域的影响

荣获 ICRA 2023 杰出物理人机交互论文奖，被引用 7 次。论文附有视频、代码和补充材料的链接；官方项目页面指向代码仓库。

摘要

要让机器人有效部署到新的环境和任务中，它们必须能够理解人类在干预时表达的反馈。这种反馈既可能是纠正不期望的行为，也可能是表达额外的偏好。现有方法要么需要多次重复的交互回合，要么假设奖励特征事先已知，这既缺乏数据效率，又难以迁移到新任务。我们放宽了这些假设：用以物体为中心的子任务来描述人类任务，并结合特定物体来解读物理干预。我们的方法 Object Preference Adaptation（OPA）由两个关键阶段组成：1) 预训练一个能产生多种行为的基础策略，以及 2) 根据人类反馈在线更新模型中的部分权重。我们快速而简单的自适应的关键在于：智能体与物体之间的一般交互动力学保持固定，只更新针对特定物体的偏好。我们的自适应在线进行，只需一次人类干预（one-shot），并能产生训练中从未见过的新行为。我们的策略以廉价的合成数据而非昂贵的人类示范进行训练，在用户研究中，它在具有挑战性的真实任务上对人类扰动表现出令人印象深刻的适应能力。视频、代码和补充材料：https://alvinosaur.github.io/AboutMe/projects/opa.

链接

• arXiv 2203.04951: https://arxiv.org/abs/2203.04951
• DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
• PDF: https://arxiv.org/pdf/2203.04951v1
• 代码: https://github.com/Alvinosaur/opa
• 项目主页: https://alvinosaur.github.io/AboutMe/projects/opa