Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

作者: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個只以領域隨機化與擬真合成影像混合訓練的關鍵點網路，估測出的 6-DoF 物體姿態足以供真實機器人抓取。

為何重要

機器人學習一個新的已知物體時，不需要任何真實的標註影像；而且姿態是由 PnP 求得而非直接迴歸，因此網路不必重新訓練就能搭配不同的相機使用。論文顯示，在 Baxter 上，估測結果準確到足以進行由上往下的抓取、取放到另一個物體上，以及從人手中接過物體。

問題

操作已知物體需要其 3D 位置與方向，但在真實影像中標註 6-DoF 姿態非常費工，因此網路通常以與測試集高度相關的真實資料訓練，對新相機與新光照的推廣能力差。合成資料免去了標註，卻有現實落差的問題；而單靠領域隨機化，先前仍需以真實資料微調才具競爭力。

提出的方法

DOPE 是一個六階段的全卷積網路（VGG-19 的前十層，加上受卷積姿態機啟發的數個階段），輸出 8 個投影長方體頂點與形心的信念圖，以及由頂點指向形心的向量場。峰值以貪婪方式分組成物體個體，再連同相機內部參數與物體尺寸送入透視 n 點（PnP）求解器以還原姿態。訓練使用約 60k 張領域隨機化影像與 60k 張擬真影像，內容為 YCB 物體，以作者為 Unreal Engine 4 開發的 NDDS 外掛程式算繪。

關鍵見解

領域隨機化與擬真的合成資料可以互補：120k 的混合資料集勝過任一類型單獨使用、規模大得多的資料集。
預測 2D 關鍵點再求解 PnP，可讓相機內部參數不進入網路權重，這與直接迴歸姿態的方法不同。
每多一個網路階段都會提高準確度並增加耗時，因為後面的階段使用更大的感受野來消除前面的歧義。
只用合成資料訓練，對不同相機與極端光照的推廣能力優於 PoseCNN，而 PoseCNN 的真實訓練影像來自與其測試集相同的相機。
渲染器沒有模擬的材質會造成漏偵測：肉罐頭的反光金屬頂蓋在成為唯一可見部分時未被辨識出來。

主要結果

在 YCB-Video 上，只用合成資料訓練的 DOPE，在 5 個物體中有 4 個的 ADD 曲線下面積高於 PoseCNN（以合成資料加真實 YCB-Video 資料訓練），且在 2 cm 以下表現更好，而 2 cm 約為 Baxter 夾爪的抓取誤差上限。
糖盒，僅用領域隨機化資料：AUC 從 2k 張影像時的 0.25 提高到 10k 時的 54.22，以及 100k 時的約 60.6，在 300k 時達到峰值 66.64；僅用擬真資料時在 600k 達到峰值 62.94；120k 的混合資料集達到 77.00。
混合比例：只要在包含另一個資料集全部資料的同時，至少納入任一資料集的 40%，所有網路的效能都相當。
階段數與時間（含物體擷取與 PnP）：1 個階段在 57 ms 內得到 46.44 AUC，6 個階段在 232 ms 內得到 75.69 AUC。
Baxter 在雜亂場景中由上往下抓取，每個物體 12 次試驗：餅乾盒 10 次、肉罐頭 10 次、芥末瓶 11 次、糖盒 11 次、番茄湯罐頭 7 次（罐頭側放時為 9 次）。

限制

嚴重遮擋的肉罐頭常被漏掉，因為合成資料沒有模擬反光的金屬頂面。
圓形物體不易由上往下抓取：直立的湯罐頭在 12 次試驗中成功 7 次。
抓取並未使用閉迴路伺服；誤差來自姿態估測、相機與機器人間的校正，以及不精確的機器人控制，其中控制似乎占了很大比重。
此方法假設物體是尺寸已知的已知剛體，且相機內部參數已知；作者將更多物體、對稱性處理與閉迴路精修列為未來工作。
與 PoseCNN 在極端光照下的比較僅為定性比較。

對領域的影響

被引用 778 次。論文指向其 NVIDIA 專案頁面上的影片與程式碼，該頁面連到 DOPE 程式碼儲存庫；擬真訓練資料以 Falling Things（FAT）資料集形式釋出，NDDS 資料產生外掛程式則公開於 GitHub。

摘要

以合成資料訓練用於機器人操作的深度神經網路，可望取得近乎無限量、預先標註好的訓練資料，而且是在不會造成任何危害的情況下安全產生。至今，合成資料的關鍵挑戰之一，是跨越所謂的現實落差，讓以合成資料訓練的網路在面對真實世界資料時也能正確運作。我們在從單張 RGB 影像估測已知物體 6-DoF 姿態的情境下探討現實落差。我們顯示，對此問題而言，只要將領域隨機化資料與擬真資料簡單結合，就能成功跨越現實落差。使用以此方式產生的合成資料，我們提出一個單次（one-shot）深度神經網路，其表現可與以真實與合成資料組合訓練的最先進網路相抗衡。就我們所知，這是第一個只以合成資料訓練、就能在 6-DoF 物體姿態估測上達到最先進效能的深度網路。我們的網路對新環境（包括極端光照條件）的推廣能力也更好，我們以定性結果加以呈現。利用此網路，我們展示一套即時系統，其估測的物體姿態準確到足以讓真實機器人在雜亂場景中，對已知家用物品進行真實世界的語意抓取。

連結

arXiv 1809.10790: https://arxiv.org/abs/1809.10790
DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
程式碼: https://github.com/NVlabs/Deep_Object_Pose
專案頁面: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose