Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation

作者: Peter R. Florence, Lucas Manuelli, Russ Tedrake · CoRL 2018

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

機器人以腕部 RGBD 相機掃描物體，從 3D 重建以自監督方式學習逐像素描述子，再於不同姿態、變形與個體間抓取使用者選定的點。

為何重要

稠密描述子讓機器人能在新的姿態、變形與同類別其他個體間指稱物體上的特定一點，例如鞋跟或玩具的耳朵。機器人自行蒐集並標註訓練資料，一個新物體約 20 分鐘即可學會。

問題

通用抓取方法能拿起任何可抓取的物品，但不保留一致的物體表示；而針對特定任務的學習可能需要大量試驗，才能在不同物體組態或任務間推廣。實例分割只給出整個物體的遮罩，無法說明物體的結構。作者想要一種與任務無關、適用於剛性與非剛性物體、利用 3D 視覺先驗，且完全由自監督學習取得的表示。

提出的方法

一支裝有腕部 RGBD 相機的 Kuka 機器手臂掃描每個靜態場景，以正向運動學求得的相機姿態進行 TSDF 融合，得到稠密的 3D 重建，為影像之間提供像素對應，用於 ResNet-34 全卷積網路上的逐像素對比損失。由 3D 變化偵測取得的物體遮罩，使遮罩內的配對取樣與背景領域隨機化得以實現；困難負樣本縮放讓非配對損失保持有用的資訊；跨物體損失與合成的多物體場景則讓不同物體的描述子彼此區隔。執行時，使用者在參考影像中點選一個像素，機器人在新場景中找出最佳描述子配對，並抓取對應的 3D 點。

關鍵見解

• 由經過校正的機器人取得的靜態場景 3D 重建，不需人工標註即可提供稠密的像素對應。
• 僅靠靜態場景的資料關聯無法得到一致的物體描述子；還需要物體遮罩、背景與方向隨機化，以及困難負樣本縮放。
• 只在場景內訓練會讓不同物體在描述子空間中重疊；跨物體損失能將它們分開，代價是低維描述子的對應精確度下降，而稍大的維度可以把精確度找回來。
• 在相似個體上共同訓練時，描述子可在一個類別（帽子、鞋子、馬克杯）內推廣，而「特定」訓練模式連非常相似的個體也能區分開來。
• 將描述子投影到單位球面，在從 D = 4 提高到 D = 8 時帶來明顯提升，但硬體實驗並未採用。

主要結果

• 為 275 個場景中的 47 個物體學習描述子，包括 3 個類別（8 頂帽子、15 隻鞋、15 個馬克杯）與 9 個其他物體。
• 訓練執行 3500 步，每步約 0.22 s（約 13 分鐘），使用單張 Nvidia 1080 Ti 或 Titan Xp；加上場景蒐集，一個新物體約需 20 分鐘。
• 採用標準的單一物體程序時，在 93% 的影像對中，最佳配對與真實配對的距離在影像對角線長度的 13% 以內；其表現優於作者自行實作的 Schmidt 等人的程序，物體遮罩與困難負樣本縮放也各自帶來可量測的提升。
• 只用 6 個個體訓練的帽子描述子可推廣到未見過的帽子，包括一頂藍色帽子，而藍色是訓練中從未出現的顏色。
• 機器人展示：在不同組態下抓取毛毛蟲玩具的尾巴或右耳；以 4 隻鞋訓練後，在未見過的鞋上抓取類別通用的點；以及在雜亂的一堆鞋中抓取某一隻鞋的鞋跟。
• 每次掃描約需 70 s，以 30 Hz 擷取約 2,100 幀 RGBD 影像，每個場景降取樣為約 315 張影像。

限制

• 在多物體的情況下，仍需由人為機器人更換物體，並指出哪些場景對應哪個物體。
• 差異夠大的物體不會共用描述子：擬人化玩具 Baymax 與 Starbot 沒有得到通用描述子。
• 描述子在學習完成前無法引導抓取，也不限制夾爪方向，因此抓取仰賴一個簡單的幾何式點雲規劃器。
• 在多物體網路中，跨物體損失會降低低維描述子空間的對應精確度。
• 抓取展示僅以定性方式呈現；論文沒有報告抓取成功率。

對領域的影響

榮獲 CoRL 2018 最佳論文獎（Best Paper Award），被引用 321 次。程式碼、資料與影片釋出於 github.com/RobotLocomotion/pytorch-dense-correspondence。

摘要

什麼才是適合操作的物體表示？我們希望機器人能以視覺感知場景，並學會對其中物體的一種理解，這種理解應該 (i) 與任務無關，可作為各種操作任務的基本元件，(ii) 普遍適用於剛性與非剛性物體，(iii) 善用 3D 視覺所提供的強先驗，並且 (iv) 完全透過自監督學習取得。以往的方法很難做到這點：近來許多抓取研究無法延伸到抓取特定物體或其他任務，而針對特定任務的學習可能需要大量試驗，才能在不同物體組態或其他任務間良好推廣。本文提出 Dense Object Nets，它建立在自監督稠密描述子學習的近期發展之上，作為一種用於視覺理解與操作的一致物體表示。我們證明它們能針對多種先前未見過、且可能為非剛性的物體快速訓練（約 20 分鐘）。我們另外提出能進行多物體描述子學習的新貢獻，並顯示只要修改訓練程序，就能取得在物體類別間推廣的描述子，或是對每個物體個體都各不相同的描述子。最後，我們展示學到的稠密描述子在機器人操作上的新應用。我們展示在物體可能變形的各種組態下抓取物體上的特定點，並展示使用類別通用描述子，在同一類別的物體間轉移特定抓取。

連結

• arXiv 1806.08756: https://arxiv.org/abs/1806.08756
• DOI 10.48550/arXiv.1806.08756: https://doi.org/10.48550/arXiv.1806.08756
• PDF: http://proceedings.mlr.press/v87/florence18a/florence18a.pdf
• 程式碼: https://github.com/RobotLocomotion/pytorch-dense-correspondence