Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method
作者: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
OPA 先在合成的趨近與避開路徑上預訓練一個圖網路策略，再只更新每個物體的小型偏好特徵來適應一次人類修正，耗時不到 0.5 s。
為何重要
把固定的互動動力學與針對特定物體的偏好分開，讓一次修正就能改變對某一個物體的行為，而不必重新訓練策略。精簡的潛在空間能表達預訓練中沒有的行為，例如 SO(3) 中任意的相對方位；而且因為資料是合成的，預訓練完全不需要人類示範。
問題
當有人在任務進行中修正機器人時，機器人需要改變其行為，例如工廠新增一道掃描步驟時。現有的線上方法不是需要多次重複的互動回合，就是把人類偏好建模為一組固定、人工挑選的獎勵特徵上的權重，這限制了能學到的內容，也難以轉移到新任務。
提出的方法
OPA 將場景表示為一個圖，機器人與物體為節點，每個物體各有一條邊連到機器人。位置與方位各有一個共用的關係網路，輸入為人工設計的相對狀態特徵，加上每個物體一個小型的學習偏好特徵（位置為 1 維；方位為 1 維潛在變數加上一個四元數旋轉偏移），再由聚合器將其輸出加總並正規化成一個動作。策略在合成的 Elastic Band 軌跡上預訓練；人類施加擾動後，只在一次想像的 rollout 上以幾步梯度更新每個物體的特徵，共用網路權重則保持凍結。
關鍵見解
- 把每個物體的偏好特徵當作可訓練權重，能將適應侷限在精簡的潛在空間中：位置只需 5 次梯度更新，方位只需 20 次。
- 預訓練只涵蓋四類互動（靠近或遠離；忽略物體方位，或以固定偏移對齊物體方位），但適應卻產生了新行為，例如相對於物體的任意 3D 方位。
- 模型結構讓學到的權重可以解讀：學到的 2D 旋轉偏移在訓練中收斂到真實偏移值。
- 不同於位勢場方法，關係網路不會被強迫輸出與機器人–物體向量平行的力，因此避免了障礙物與目標位於同一方向時的失敗。
- 將排斥、吸引與目標物體的位置特徵分別初始化為 1.0、0.5 與 0.0，使特徵之間的內插產生內插的行為，因此新物體可以從中點的「忽略」開始。
主要結果
- 使用者研究有 10 名 CMU 學生參與，在三個模擬的機器手臂任務中以電腦按鍵施加擾動。
- 任務 1（端著易碎的杯子低低地越過桌面）：相較於在擾動期間切換為重力補償的基線，使用者認為 OPA 更理解他們的偏好、需要的力氣更少，可預測性也略高。
- 任務 2（以選定方位呈現一只平底鍋）：平均方位誤差 0.2576 rad，為最大可能值 π/2 的 16%；滿意度四分位數在五點量表上為 3.5 / 4.0 / 4.0。
- 任務 3（在放入收納盒前加入一道條碼掃描步驟）：「理解我的意圖」的四分位數在五點量表上為 4.0 / 4.0 / 5.0。
- 線上適應總共不到 0.5 s；以 9 個平行行程產生 3000 條合成軌跡需 4 分鐘，之後在筆電 GPU 上每個網路訓練 100 個 epoch 需 12 分鐘。
限制
- 作者表示，OPA 仰賴以物體為中心、以趨近與避開來表述的動作；抓取與施力（例如擦拭表面）不在處理範圍內。
- 它假設每個物體都能被偵測、唯一辨識並取得其 6D 姿態；非結構化環境留待未來研究。
- 結果對適應的學習率與梯度步數很敏感：在任務 1 中，有兩位使用者看到機器人在桌子附近徘徊或忽略目標；在任務 3 中，有兩位表示碗應該更靠近掃描器。
- 不相對於某個物體、以任務為中心的目標（例如繪圖）不在涵蓋範圍內。
- 使用者研究使用的是以鍵盤按鍵施加擾動的模擬機器手臂，而非與真實機器人的物理接觸。
對領域的影響
榮獲 ICRA 2023 傑出實體人機互動論文獎，被引用 7 次。論文附有影片、程式碼與補充資料的連結；官方專案頁面指向程式碼儲存庫。
摘要
要讓機器人有效部署於新的環境與任務，它們必須能理解人類在介入時所表達的回饋。這種回饋可能是修正不想要的行為，也可能是表達額外的偏好。現有方法不是需要多次重複的互動回合，就是假設獎勵特徵事先已知，這既缺乏資料效率，也難以轉移到新任務。我們放寬這些假設：以物體為中心的子任務來描述人類任務，並將物理介入與特定物體連結起來解讀。我們的方法 Object Preference Adaptation（OPA）由兩個關鍵階段組成：1) 預訓練一個能產生多樣行為的基礎策略，以及 2) 依據人類回饋線上更新模型中的部分權重。我們快速又簡單的適應，關鍵在於代理人與物體之間的一般互動動力學保持固定，只更新針對特定物體的偏好。我們的適應是線上進行的，只需一次人類介入（one-shot），並能產生訓練中從未見過的新行為。我們的策略以便宜的合成資料而非昂貴的人類示範訓練，在使用者研究中，它在具挑戰性的真實任務上對人類擾動展現出令人印象深刻的適應能力。影片、程式碼與補充資料：https://alvinosaur.github.io/AboutMe/projects/opa.
連結
- arXiv 2203.04951: https://arxiv.org/abs/2203.04951
- DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
- PDF: https://arxiv.org/pdf/2203.04951v1
- 程式碼: https://github.com/Alvinosaur/opa
- 專案頁面: https://alvinosaur.github.io/AboutMe/projects/opa