Learning to Share Autonomy across Repeated Interaction
作者: Ananth Jonnavittula, Dylan P. Losey · IROS 2021
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
不需預先定義目標清單的共享自主：機器人從重複的遠端操作中學習任務、從搖桿輸入辨識任務、模仿過去的執行，並在沒有把握時交還控制權。
為何重要
輔助機器手臂的使用者會重複相同的日常任務，因此能從這些重複中學習的手臂可以減少遠端操作的負擔，而不需要任何人撰寫目標清單。以判別器為基礎的控制權交還，避免了目標推論方法中出現的僵局：當使用者朝向未知目標時，機器人會加以抗拒。
問題
用於輔助機器手臂的共享自主方法需要先驗知識，例如使用者可能到達的目標集合，或使用者所最佳化的獎勵。當使用者嘗試該集合以外的任務時，例如打開一個機器人從未被告知的冰箱，機器人無法提供協助，甚至可能往錯誤的已知目標推。
提出的方法
機器人儲存每一次遠端操作的互動，並訓練一個編碼器，將使用者目前的狀態與搖桿指令對應到一個潛在任務；另訓練一個解碼器策略，輸出重現使用者在該任務中過去行為的輔助關節速度。一個獨立的判別器經訓練以區分看過的互動與其加入雜訊的變形，用來為目前互動的熟悉程度評分，而此分數決定機器人與人類動作之間的混合比例 β。模型在每次互動之間重新訓練，因此能持續學習新任務。
關鍵見解
- 日常生活中的重複正是讓學習協助成為可能的關鍵；機器人從來不需要被告知使用者想做什麼任務。
- 在選擇動作前先將互動編碼成潛在任務，比直接以互動為條件的行為複製（DAgger）更能改善到達目標的表現。
- 以獨立的判別器判斷熟悉度，在已知任務上給出的信心比 DropoutDAgger 的自我評估不確定性更穩定；後者在輕微偏離時就會交還控制權。
- 只用人的指令、而非混合後的動作作為編碼器的輸入，可避免回饋迴路，也就是機器人用自己的動作說服自己某個目標。
- 在固定目標集合上進行的貝氏目標推論，遇到未知任務時可能陷入僵局，如附錄所示：使用者打開抽屜時，機器人卻往附近的記事本拉。
主要結果
- 在有三個目標、3 或 5 次訓練示範的到達消融實驗中，使用者只引導最初的 0.5 s，以編碼器為基礎的方法到達目標時的最終狀態誤差低於使用相同資料的 DAgger。
- 在舉起玻璃杯技能有五次先前重複的情況下，此方法自始至終保持有把握，而 DropoutDAgger 很少提供協助。
- 在抽屜技能的五次重複上訓練後，此方法在所有測試雜訊等級下都減少了人在抽屜任務上的負擔，而在一個未見過的拿取罐子任務上，所需負擔也不比 No Assist 多。
- 在一項有 10 名參與者的研究中，到達兩個已知目標所需的人類負擔，在此方法與貝氏共享自主基準之間沒有顯著差異。
- 當參與者將兩個新任務各執行 9 次、每三次試驗重新訓練一次時，機器人在 6 次示範上訓練後辨識出抽屜技能並提供協助；在所有任務上訓練的模型，協助原有目標的效果與針對特定任務的模型大致相同。
- 作者表示，此方法能從實務上可行數量的互動（少於 10 次）中學習。
限制
- 此方法並未明確建模共同適應：當使用者信任機器人後，可能會改變遠端操作的方式，例如完全停止搖桿輸入。
- 使用者研究的 10 名參與者來自大學社群，而非身有肢體障礙的使用者。
- 實驗在簡化的居家環境中使用固定安裝的 7-DoF 機器手臂，而非裝在輪椅上的手臂。
- 模擬實驗使用在指令上加入高斯雜訊的模擬操作者，而非真實使用者。
對領域的影響
此論文入圍 IROS 2021 最佳 RoboCup 論文獎決選，被引用 16 次。論文附有實驗影片連結；未說明是否釋出程式碼或資料。
摘要
裝在輪椅上的機器手臂（以及其他輔助機器人）應該協助使用者完成日常任務。機器人提供這種協助的一種方式是共享自主（shared autonomy）。在共享自主中，人與機器人都對機器人的運動保有控制：當機器人越來越有信心理解人想要什麼時，就會越來越多地介入，將任務自動化。但機器人一開始要如何知道人可能想執行哪些任務？現今的共享自主方法常仰賴先驗知識：例如，機器人必須事先知道人可能目標的集合。然而長期而言，這種先驗知識無可避免地會失效——人遲早會伸手去拿一個機器人沒預料到的目標。本文提出一種利用重複互動的共享自主學習方法。如果人在每次互動中都執行完全不同的任務，學習如何協助人將是不可能的：但我們的洞見是，身有肢體障礙的使用者每天都會重複重要的任務（例如打開冰箱、煮咖啡、吃晚餐）。我們提出一種演算法，利用這些重複互動來辨識人的任務、重現相似的示範，並在沒有把握時交還控制權。隨著人反覆與這台機器人合作，我們的方法會持續學習協助那些事先從未指定的任務：這些任務包括離散目標（例如伸手拿杯子）與連續技能（例如打開抽屜）。透過模擬與一項實地使用者研究，我們證明採用本方法的機器人在已知目標上與現有共享自主方法相當，並在新任務上勝過模仿學習基準。影片請見：https://youtu.be/NazeLVbQ2og
連結
- arXiv 2107.09650: https://arxiv.org/abs/2107.09650
- DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
- PDF: https://arxiv.org/pdf/2107.09650v1