Grasp Pose Detection in Point Clouds

作者: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

在任何可見表面上取樣數千個 6-DOF 夾爪姿態，以小型 CNN 對局部點雲的多視角投影逐一評分，再依啟發式規則挑出一個：在密集雜亂中成功率為 93%。

為何重要

此方法在執行時不需要分割、不需要知道物體身分，也不需要 CAD 模型，適合開放世界的揀取。在機器人上的消融實驗顯示各階段的貢獻：點雲品質、抓取分類與抓取選擇啟發式規則，各自讓成功率改變 9 到 40 個百分點。

問題

傳統抓取流程是把 CAD 模型對位到點雲上，在點雲帶雜訊且不完整時很困難，也假設每個物體都有模型。早期抓取偵測方法在單獨擺放的物體或輕度雜亂中達到 75–95% 的抓取成功率，對實際使用而言太低，也無法代表真實的雜亂場景。

提出的方法

抓取候選在任何可見表面上取樣：在隨機點雲點建立局部 Darboux 座標架，將夾爪模型向前推進直到接觸，保留不發生碰撞且閉合區域內有點的姿態。每個候選被編碼成一張 15 通道（或較省運算的 3 通道）影像，來自已佔據體素、被遮擋體素與表面法向量的三個投影，並由四層 LeNet 風格的 CNN 評分。該 CNN 以 1.5M 筆有標註的樣本訓練，這些樣本是在對位到真實點雲的 BigBird 網格上檢查無摩擦對蹠抓取所產生。

關鍵見解

抓取表示方式很重要：包含表面法向量與多個視角的 15 通道描述子，分類準確率比 Herzog/Kappler 的 3 通道高度圖至少高出 10%
以模擬 CAD 資料預訓練在初期有幫助（4000 次迭代即達到未預訓練時 20000 次的準確率），但效益會逐漸消失；只用模擬訓練僅達 83%，使用真實資料則約為 90%
已知物體類別或個體可提高準確率：已知圓柱形個體的分類準確率約為 97%，沒有先驗知識時約為 92%
抓取偵測需要的是高精確率，而非高準確率，因此論文量測 99% 精確率下的召回率
偵測到的抓取可作為物體分類器的物體候選，讓機器人能抓取指定名稱的物體

主要結果

主動點雲（腕部感測器搭配 InfiniTAM）：在 30 輪、每輪 10 個物體的實驗中，抓取成功率 93%（288 次嘗試中成功 268 次），清空 89% 的物體
被動點雲（兩台裝在機身上的 Asus Xtion Pro）：成功率 84%（138 次中 116 次），清空 77% 的物體
不使用抓取選擇啟發式規則：成功率 75%（155 次中 117 次）；不使用抓取分類：成功率 53%（142 次中 75 次）
99% 精確率下的召回率：15 通道表示為 89%，12 通道為 82%，Herzog/Kappler 表示為 19%
在 66k 點的點雲上，每 1k 個候選的執行時間：3 通道描述子為 2.1 s，15 通道約為 8 s
在雜亂場景中以抓取作為物體候選：9 個物體的物體分類準確率為 85.4%（1197 個候選中 1023 個）

限制

由於沒有分割，偵測器可能產生把兩個相鄰物體當成一個的抓取；預期開口較大的手會更常發生
抓取特定物體仰賴物體分類，而其在實驗室中僅達 85%；實際使用前需要改善
此方法僅限二指手（或行為類似二指手的手），對閉合區域更複雜的手，取樣上的優勢可能消失
Baxter 夾爪 3–7 cm 的抓取寬度限制了測試物體，且有兩個物體上下顛倒落下時需要以手動方式扶正
以模擬深度影像產生的訓練資料轉移到真實感測器的效果不佳（準確率 83% 對比約 90%）

對領域的影響

722 次引用。作者以 C++ ROS 套件形式釋出實作（github.com/atenpas/gpd），並定義了一套用於抓取實驗的密集雜亂基準測試協定。

摘要

近來已有多種抓取偵測方法被提出，可直接從感測器資料定位機器人的抓取組態，而不必估測物體姿態。其基本概念是把抓取感知類比為電腦視覺中的物體偵測。這些方法以帶有雜訊且部分被遮擋的 RGBD 影像或點雲作為輸入，輸出可行抓取的姿態估測，且不假設已知物體的 CAD 模型。雖然這些方法能將抓取知識良好地推廣到新物體，但尚未證明其可靠程度足以廣泛使用。許多抓取偵測方法對單獨擺放或處於輕度雜亂中的新物體，抓取成功率（抓取成功次數占抓取嘗試總次數的比例）介於 75% 到 95% 之間。這些成功率不僅對實際抓取應用而言太低，所評估的輕度雜亂情境也往往無法反映真實世界抓取的實際狀況。本文提出多項創新，合起來使抓取偵測效能大幅提升。我們每一項貢獻所帶來的具體效能提升，都在模擬或機器人硬體上加以量化測量。最後，我們報告一系列機器人實驗，對於處於密集雜亂中的新物體，平均端到端抓取成功率為 93%。

連結

arXiv 1706.09911: https://arxiv.org/abs/1706.09911
DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
PDF: https://arxiv.org/pdf/1706.09911v1
程式碼: http://github.com/atenpas/gpd