Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

作者: Francesco Del Duchetto, Marc Hanheide · IROS 2022

许可协议

• 开放获取
• 论文: CC BY-SA 4.0

以下内容均依据论文全文，按其 CC BY-SA 4.0 许可协议使用；其中的图已注明作者。

一句话总结

博物馆导览机器人 Lindsey 用 UCBVI 在线调整导览，以相机估计的访客参与度作为奖励，使参观展品数增加 22.8%，完成率提高约 30%。

为何重要

学习在真实机器人上、在非结构化的公共空间中进行，而非在实验室或模拟中；在那里，未经训练的访客随时可能打断或走开。它使用自动估计的参与度信号作为唯一反馈，没有单独的数据采集和训练阶段。学习结束后回到静态策略两周，用以检验收益来自学到的策略，而非其他影响，例如解封后访客行为的变化。

问题

Lindsey 在英国林肯的 The Collection 博物馆 103 天内进行了超过 2,300 次导览，但只有约 18% 被访客走完。社交机器人必须从经验中学习其动作如何影响用户，然而目标即用户参与度，是一种只能通过传感器估计的内部状态。在真实机器人上进行探索在时间上代价高昂，并且受到真实世界动态的限制。

提出的方法

导览被设定为 Petri 网计划，其动作（前往某件展品、讲解它、更详细地讲解它、结束导览）被约束为有效的后继序列。一个运行在机器人 GPU 上的端到端回归模型以约 1 Hz 的频率根据相机估计参与度；它在每个动作期间的平均值被分箱为 LOW、MEDIUM 或 HIGH，既用于状态，也用作奖励。Upper-Confidence-Bound Value Iteration（UCBVI）算法以原静态策略下数千次导览初始化访问计数，并以 σ = 20 设定探索加成，在每次导览后更新策略。

关键见解

• 在第一站表现出 LOW 参与度的访客继续导览的概率约低 20%，这为利用参与度来选择动作提供了依据。
• 学到的策略会重新排列展品顺序，并决定何时提供额外讲解：它在导览早期更频繁地提供讲解，后期只在参与度为 MEDIUM 或 HIGH 时提供。
• 用静态策略的导览数据为 UCBVI 提供初始值，可复用这些数据，同时奖励加成将探索引向较少探索的状态–动作对；该加成还使机器人在尝试新动作之前，会在连续的导览中重复一个探索不足的动作，作者发现这有助于行为保持一致。
• 由于奖励始终为正，奖励函数隐含地偏好更长的导览。

主要结果

• 在为期 8 周的学习阶段，每次导览平均参观的展品数比之前的静态策略时期增加了 22.8%，并在使用静态策略的 2 周验证阶段回到了此前的水平。
• 导览成功率（参观所有站点的导览）比静态导览提高了 30% 以上；摘要将其表述为完成导览的概率提高 30%。
• 在学到的策略下，参与度在连续动作之间保持稳定的时间接近 50%，而此前上升、下降或保持稳定的概率大致相等。
• 到 2022 年初，探索只覆盖了约 13% 的状态–动作空间；一项模拟的 5 周延续显示，新的可探索状态数量随时间减少。
• 与之前的时期和验证阶段相比，学习阶段检测到的平均参与度有所下降。

局限

• 只探索了状态–动作空间的一小部分，作者指出在这一真实世界场景中实际上无法实现完全探索；一些状态只有在用户行为允许时才能到达。
• 博物馆在 COVID 封锁后重新开放，检测到的参与度随之下降，可能是因为佩戴口罩影响了参与度模型；该研究历时近三年，有许多因素影响访客行为。
• 当用户偏好变化导致已充分探索区域的估计过时时，UCBVI 加成无法识别这一点；作者提出将基于与过去估计偏离程度的加成作为未来工作。
• 除了脱离参与的情况总体减少外，作者没有发现学到的策略与静态策略在导览中止或放弃方面存在其他显著差异。
• 研究只涵盖一个博物馆展厅中的一台机器人，有四条导览路线，每条包含五或六件展品，并且只考虑了导览交互。

对领域的影响

该论文入围 IROS 2022 认知机器人最佳论文奖（KROS 赞助）决选，被引用 14 次。论文未发布代码或数据。

摘要

在本研究中，我们提出一个框架，使在公共空间长期部署的自主机器人能够根据用户交互在线调整自身行为。机器人行为规划被嵌入强化学习（RL）框架中，其目标是在交互过程中最大化整体用户参与度。我们使用 Upper-Confidence-Bound Value-Iteration（UCBVI）算法，它为实时交互中的探索–利用权衡提供了一种有用的管理方式。一个端到端训练的参与度模型在策略执行期间实时生成奖励函数。我们在英国林肯的一家公共博物馆中测试了这一方法，机器人在那里作为访客的导览员部署。结果表明，经过几个月的探索后，机器人策略学会了更长时间地保持用户参与，与最初的静态策略相比，导览中参观的展品数量增加了 22.8%，完成导览的概率提高了 30%。这项工作是在社交场景的机器人应用中，朝长期场景下的行为自适应迈出的有希望的一步。

链接

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1