Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions

作者: Francesco Del Duchetto, Marc Hanheide · IROS 2022

授權條款

• 開放取用
• 論文: CC BY-SA 4.0

以下內容皆依據論文全文，依其 CC BY-SA 4.0 授權條款使用；圖表已標示作者。

一句話摘要

博物館導覽機器人 Lindsey 以 UCBVI 線上調整導覽，用相機估計的訪客投入程度作為獎勵，讓參觀展品數增加 22.8%，完成率提高約 30%。

為何重要

學習是在實體機器人上、於非結構化的公共空間中進行，而不是在實驗室或模擬中；在那裡，沒有受過訓練的訪客隨時可能打斷或離開。它以自動估計的投入程度訊號作為唯一回饋，沒有分開的資料蒐集與訓練階段。學習結束後改回靜態策略兩週，用來檢查成效來自學得的策略，而非其他影響，例如解封後的訪客行為。

問題

Lindsey 在英國林肯的 The Collection 博物館於 103 天內進行了超過 2,300 趟導覽，但只有約 18% 被訪客走完。社交機器人必須從經驗中學習其動作如何影響使用者，然而目標，也就是使用者投入程度，是只能由感測器估計的內部狀態。在實體機器人上探索也很耗時，並受真實世界動態的限制。

提出的方法

導覽被規定為 Petri 網計畫，其動作（前往某件展品、解說它、更詳細地解說它、結束導覽）被限制為有效的後繼序列。一個在機器人 GPU 上執行的端對端迴歸模型，以約 1 Hz 的頻率從相機估計投入程度；它在每個動作期間的平均值被分組為 LOW、MEDIUM 或 HIGH，同時用於狀態與作為獎勵。Upper-Confidence-Bound Value Iteration（UCBVI）演算法以原本靜態策略下數千趟導覽來初始化造訪計數，並以 σ = 20 設定探索加成，在每趟導覽後更新策略。

關鍵見解

• 在第一站呈現 LOW 投入程度的訪客，繼續導覽的機率約低 20%，這為以投入程度選擇動作提供了依據。
• 學得的策略會重新安排展品順序，並決定何時提供額外解說：在導覽前段較常提供，後段則只在投入程度為 MEDIUM 或 HIGH 時提供。
• 以靜態策略的導覽資料作為 UCBVI 的初始值，可重複利用這些資料，同時加成項把探索引導到較少探索的狀態–動作對；加成項也讓機器人在嘗試新動作之前，於連續幾趟導覽中重複一個探索不足的動作，作者認為這有助於行為的一致性。
• 由於獎勵始終為正，獎勵函數隱含地偏好較長的導覽。

主要結果

• 在為期 8 週的學習階段，每趟導覽平均參觀的展品數比先前的靜態策略期間增加 22.8%，並在使用靜態策略的 2 週驗證階段回到先前的水準。
• 導覽成功率（參觀所有站點的導覽）比靜態導覽提高 30% 以上；摘要則將其表述為完成導覽的機率提高 30%。
• 在學得的策略下，投入程度在連續動作之間保持穩定的時間接近 50%，而先前上升、下降或保持穩定的機率大致相等。
• 到 2022 年初，探索只涵蓋約 13% 的狀態–動作空間；一個模擬的 5 週延續顯示，新的可探索狀態數量隨時間減少。
• 與先前及驗證期間相比，學習階段偵測到的平均投入程度有所下降。

限制

• 只探索了狀態–動作空間的一小部分，作者表示在此真實世界情境中實際上無法完全探索；有些狀態只有在使用者行為允許時才能到達。
• 博物館在 COVID 封城後重新開放，偵測到的投入程度隨之下降，可能是因為戴口罩影響了投入程度模型；這項研究橫跨將近三年，有許多因素影響訪客行為。
• 當使用者偏好改變，使已充分探索區域的估計過時，UCBVI 加成項無法察覺；作者提出以與過去估計之偏離程度為基礎的加成項，作為未來工作。
• 除了不投入的情況整體減少之外，作者沒有發現學得的策略與靜態策略在中途停止或放棄導覽方面有其他顯著差異。
• 這項研究只涵蓋一間博物館展廳中的一台機器人，共有四條導覽路線，每條包含五或六件展品，而且只考慮導覽互動。

對領域的影響

該論文入圍 IROS 2022 認知機器人最佳論文獎（KROS 贊助）決選，被引用 14 次。論文未釋出程式碼或資料。

摘要

在本研究中，我們提出一個框架，讓長期部署在公共空間的自主機器人能依使用者互動線上調整自身行為。機器人的行為規劃被嵌入強化學習（RL）框架中，其目標是在互動過程中最大化整體使用者投入程度。我們使用 Upper-Confidence-Bound Value-Iteration（UCBVI）演算法，它為即時互動中的探索–利用權衡提供了一種有用的管理方式。一個端對端訓練的投入程度模型會在策略執行期間即時產生獎勵函數。我們在英國林肯的一間公共博物館測試此方法，機器人在那裡擔任訪客的導覽員。結果顯示，經過幾個月的探索後，機器人策略學會讓使用者保持投入更久，與最初的靜態策略相比，導覽中參觀的展品數量增加 22.8%，完成導覽的機率提高 30%。這項研究是在社交情境的機器人應用中，朝長期情境下的行為調適邁出的一個有希望的步伐。

連結

• arXiv 2203.10518: https://arxiv.org/abs/2203.10518
• DOI 10.48550/arXiv.2203.10518: https://doi.org/10.48550/arXiv.2203.10518
• PDF: https://arxiv.org/pdf/2203.10518v1