Disentangled Relational Representations for Explaining and Learning from Demonstration

作者: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個搭配輔助標籤損失的 β-VAE 學習空間關係嵌入，將桌面示範轉換成符號規劃與 PR2 末端執行器姿態。

為何重要

使用者可以用部分標註的資料教機器人一套空間詞彙，之後機器人以同一套詞彙解釋新的示範，使其規劃能被人閱讀與檢查。同樣的嵌入也送入姿態迴歸器，把所教的符號與 PR2 上的手臂動作連結起來。

問題

示範學習取決於獎勵與策略結構中的歸納偏差，而對非機器人專家的人來說，示範一項任務比明確定義它更容易。以語言教導的機器人，必須將「在……左邊」或「在……上面」等抽象概念落實到其高維感測器資料串流中。先前的關係模型需要大型的完整標註資料集，且如同黑盒子，或是假設已知環境模型、對應到符號的確定性映射以及完整的規劃。

提出的方法

一個孿生 β-VAE 將目標物體與參考物體的遮罩 RGBD 影像編碼成物體嵌入，一個變分運算子將每一對映射到低維關係空間，每個概念組對應一個軸（左/右、前/後、上/下、近/遠、在上/不在上、在內/在外）。以弱的、部分缺漏的標籤計算的重建項、KL 項與交叉熵項，讓這些軸與人類的概念對齊。測試時，對示範的嵌入軌跡進行概似比檢定，還原哪個物體在何時移動及其關係如何變化，所有示範中都出現的步驟構成規劃，再由 MLP 迴歸出 6-DoF 末端執行器姿態，交給 MoveIt! 運動規劃器。

關鍵見解

• 帶有明確「未知」選項的弱標籤，就足以讓潛在軸與人類的空間概念對齊；未標註的配對仍能透過重建損失發揮作用。
• 結合遮罩重建與物體標籤分類，得到最適合分割示範的關係空間；沒有物體標籤損失的模型所產生的關係嵌入緊密集中在零附近，作者將此與其較弱的分割表現連結起來。
• 對連續嵌入在「移動」與「靜止」兩個高斯分布之間進行概似比檢定，就足以找出哪個物體在何時移動。
• 只保留每次示範中都出現的步驟，可去除偶然的移動，例如物體從另一物體左側移到右側途中經過其後方。
• 姿態迴歸器在對各任務重要的軸上最準確：放到上面或放進裡面時是位置，讓兩個杯子面對面時是滾轉與俯仰。

主要結果

• 在重複性的 BlocksWorld 示範上進行規劃分割：完整模型（重建 + 物體標籤損失）在左-右得分 0.80，前-後 0.88，下-上 0.91，遠-近 0.86，不在上-在上 0.76；兩項皆無的模型則為 0.50、0.64、0.54、0.56 與 0.49。
• 例外：在外-內組，完整模型得分 0.56，低於全部三個消融模型（0.66、0.62 與 0.78）。
• 只有單一物體移動的串接示範：所有模型在 C 形與跳過兩項上準確率皆達 1，在不在上-在上-不在上約為 0.74。
• 隨著使用的示範增加（最多 8 個），推得規劃的平均編輯距離朝真實值下降；由於部分示範中有物體遮擋，有些曲線沒有收斂。
• 資料：1,000 個合成 BlocksWorld 場景，每個場景 4 個物體（72,000 組關係，40% 未標註）；在 PR2 上，3 個遠端操作任務 × 20 次示範，得到 2,400 組已標註與 6,000 組未標註的物體配對；姿態預測在每個任務另外 10 次示範上測試。

限制

• 任務要旨擷取只適用於確定性任務，也就是單一動作序列即可達成目標的任務。
• 未處理抓取；假設機器人已經握著要移動的物體。
• 分割並非學習而來：在機器人上，遮罩來自預訓練的 Mask R-CNN，在 BlocksWorld 中則來自模擬器狀態，且指令必須遵循解析器預先定義的範本。
• 部分示範中的物體遮擋，使推得的規劃無法收斂到真實值。
• 評估只涵蓋三個簡單的桌面任務；組合式任務以及「再往左一點」之類的修飾語留待未來研究。

對領域的影響

入圍 CoRL 2019 最佳論文獎（Best Paper Award）決選，被引用 28 次。官方專案頁面連結了實驗程式碼、資料產生程式碼，以及以 CLEVR 為基礎的擬真訓練資料。

摘要

從示範中學習是人類使用者指導機器人做出期望行為的有效方法。然而，對大多數具實際意義的非簡單任務而言，有效率的示範學習關鍵取決於所選的獎勵/成本與策略結構中的歸納偏差。我們探討這種歸納偏差來自與人類使用者互動的情況。我們提出一種方法，讓學習代理人利用一個高參數量變分神經模型的資訊瓶頸層，並搭配輔助損失項，來落實（ground）空間關係等抽象概念。這些概念會在自然語言指令中被提及，並呈現在代理人從世界接收的高維感測輸入串流中。我們在擬真的合成環境中評估所學模型潛在空間的特性，並特別著重檢驗其在下游任務上的可用性。此外，透過一系列受控的桌面操作實驗，我們證明所學的流形可用來將示範落實為符號規劃，再於 PR2 機器人上執行。

連結

• arXiv 1907.13627: https://arxiv.org/abs/1907.13627
• DOI 10.48550/arXiv.1907.13627: https://doi.org/10.48550/arXiv.1907.13627
• PDF: http://proceedings.mlr.press/v100/hristov20a/hristov20a.pdf
• 程式碼: https://github.com/yordanh/spatial_relations_experiments
• 專案頁面: https://sites.google.com/view/explain-n-repeat/