SORNet: Spatial Object-Centric Representations for Sequential Manipulation

作者: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

SORNet 在給定物體的一個標準視圖後，為 RGB 影像中的每個物體產生嵌入；小型讀出 MLP 把這些嵌入轉換成未見過物體的技能前置條件與 3D 方向。

為何重要

預測出的述詞會提供給一個符號式任務與運動規劃器，因此同一個網路不需重新訓練或微調，就能用於新任務與新物體。作者以從真實機器人相機影像預測的述詞，填入規劃器的狀態以進行開迴路執行，並把方向預測用於朝目標物體的視覺伺服。

問題

序列操作需要知道物體之間哪些空間關係成立，例如某個方塊的頂部是否淨空，規劃器才能選擇下一個技能。顯式的狀態估測器難以推廣到任意的物體組合，尤其是彼此接觸的物體；而端到端網路則始終綁定於訓練時的任務：一個被訓練來堆疊方塊的網路，無法直接把它們拆開。

提出的方法

SORNet 是一個 Vision Transformer，它把場景的 RGB 上下文區塊，加上感興趣物體的標準視圖作為查詢 token，並遮蔽注意力，讓查詢只從場景讀取，為每個查詢物體輸出一個嵌入。兩層 MLP 讀出網路把單一或成對的嵌入對應到一元與二元述詞，或連續的 3D 方向，其參數與物體數量無關；訓練使用 Leonardo，這是一個新的模擬資料集，內容為 Franka Panda 堆疊方塊，並以真值述詞標註。

關鍵見解

• 以標準的物體視圖為條件（這些視圖不必與物體在場景中的外觀相符），讓模型不需重新訓練，就能在光照、姿態與遮擋改變的情況下辨認出未見過的物體。
• 遮蔽查詢 token 之間的注意力，以及從上下文區塊到查詢的注意力，讓輸出具有置換等變性，因此推論時可查詢任意數量的物體。
• 只用邏輯述詞標籤訓練的嵌入，仍帶有連續的空間資訊：在凍結嵌入上訓練的迴歸器預測 3D 方向的表現，優於以姿態監督訓練的基準。
• 沒有物體條件的基準在未見過的物體上零樣本失敗，即使經過 100-shot 微調仍遠遠落後。
• 彙整三個相機視角有助於應付遮擋，加入夾爪狀態則能改善與夾爪相關的述詞，例如 has-object。

主要結果

• CLEVR-CoGenT 零樣本關係準確率：valA 為 99.006%，valB 為 98.222%，MDETR 為 84.950% / 59.627%，而在訓練中看過所有物體的 MDETR-oracle 為 97.944% / 98.052%。
• Leonardo 未見物體的述詞分類（52 個述詞）：SORNet M-View (G) 達到 98.9% 準確率、63.6% 全符合準確率與 89.5 的 F1；最佳的 100-shot 基準為 92.8%、4.1% 與 0.0。
• 含 5 個與 6 個物體的場景（以 4 個物體訓練）：準確率為 98.5% 與 98.0%，隨著述詞增加到 70 與 102 個，全符合準確率降到 45.5% 與 29.7%。
• 30 張真實世界機器人影像：準確率 96.3%，全符合準確率 26.7%，F1 為 76.5。
• 技能可執行性準確率：SORNet M-View (G) 為 76.3%，ResNet18 與 ViT 基準約為 27%，後者在 grasp、align、place 與 lift 上得分為 0%。
• 相對 3D 方向迴歸（單位向量上的歐氏誤差，1000 個訓練樣本）：SORNet（預訓練、多視角）物體對物體為 0.1458，末端執行器對物體為 0.1777，ResNet18 為 0.4308 / 0.3251，預訓練的 CLIP-ViT 為 0.6145 / 0.4960。

限制

• 讀出網路只處理一元與二元關係；涉及兩個以上物體的關係留待未來研究。
• 空間關係由單一 RGB 影格預測；並未處理時間推理。
• 在真實影像上，模型會在訓練中從未見過的情況下出錯，例如一個方塊疊在兩個方塊之間，而在 30 張真實影像上的全符合準確率為 26.7%。
• 隨著物體增加，全符合準確率下降（6 個物體時為 29.7%），因為二元述詞的數量呈二次方成長。
• 訓練資料只涵蓋單一任務，即堆疊 4 個方塊；真實機器人的規劃展示以開迴路方式執行，且只在補充影片中呈現。

對領域的影響

入圍 CoRL 2021 最佳系統論文獎，82 次引用。論文貢獻了 Leonardo 資料集，其 RGB 觀測以空間述詞標註，官方專案頁面並連結到程式碼（github.com/wentaoyuan/sornet）。

摘要

序列操作任務要求機器人感知環境狀態，並規劃一連串通往期望目標狀態的動作，而從原始感測器輸入推論物體實體之間空間關係的能力在其中至關重要。仰賴顯式狀態估測或端到端學習的先前研究，難以應付新物體或新任務。在本研究中，我們提出 SORNet（Spatial Object-Centric Representation Network，空間物體中心表徵網路），它以感興趣物體的標準視圖為條件，從 RGB 影像中擷取以物體為中心的表徵。我們顯示，SORNet 學得的物體嵌入能在三個空間推理任務上零樣本推廣到未見過的物體實體：空間關係分類、技能前置條件分類與相對方向迴歸，並顯著優於基準。此外，我們呈現真實世界的機器人實驗，展示學得的物體嵌入在序列操作任務規劃中的用法。

連結

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• 程式碼: https://github.com/wentaoyuan/sornet
• 專案頁面: https://wentaoyuan.github.io/sornet