kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

作者: Wei Gao, Russ Tedrake · ICRA 2021

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

帶方向的 3D 關鍵點作為閉迴路控制器的狀態與動作，讓一個策略就能在形狀變化下處理 0.2 mm 插銷入孔、LEGO、USB 與擦拭任務。

為何重要

由於狀態與動作只涉及物體中與任務相關的部分，同一個控制器可以在不同物體實例、抓取姿態與初始配置之間通用，不需要逐一實例調整參數。此框架只固定介面，因此可以接上其他感知模組，以及以模型為基礎或經學習而得的代理人。

問題

閉迴路操作流程通常在即時 6-DOF 姿態估測器上建立回饋，但定義在固定幾何範本上的姿態，無法捕捉類別內較大的形狀變化。原始的 kPAM 關鍵點方法能處理類別層級的取放，但假設可以對物體施加任意剛體座標轉換，而這對插銷入孔等接觸密集任務並不成立。

提出的方法

關鍵點被賦予局部方向座標系，機器人的動作則表示為帶方向關鍵點的期望線/角速度或力/力矩，並透過關鍵點雅可比矩陣對應為關節命令。力/力矩讀數被轉換到關鍵點上作為虛擬感測器，輸入與輸出在名目座標系中重新表示，以便重新定向到新的擺放位置；再以一個經帶方向關鍵點簡化的 kPAM 取放步驟，將物體帶到起始配置。

關鍵見解

局部、針對任務的帶方向關鍵點會忽略無關的幾何，例如機器人握住的握把，這正是能達成類別層級泛化的原因。
若物體是剛性的且被牢牢握住，就可以把它當成機器人的一部分，於是標準的關節空間控制器就能把關鍵點的速度或力命令對應到各關節。
將腕部力/力矩讀數轉換到關鍵點座標系，可使其與物體幾何及抓取姿態無關。
在 80 cm 距離下約 5 mm 的視覺關鍵點誤差遠大於 0.2 mm 的間隙，因此需要以關鍵點與力/力矩進行閉迴路修正；開迴路重播會失敗。
為 kPAM 關鍵點加上方向後，許多情況下就不必再為取放目標求解成本/限制條件的最佳化問題。

主要結果

失敗率（本方法相對於開迴路基準）：白板擦拭 1/25（4%）對 16/20（80%）；間隙 0.2 mm 的 3D 列印插銷入孔 12/45（26%）對 19/20（95%）。
LEGO 積木 2/25（8%）對 7/20（35%）；USB 連接埠 9/20（45%）對 20/20（100%）。
6-DOF 姿態基準（關鍵點初始化加上對範本的 ICP）在擦拭上失敗 10/25（40%）、在列印插銷入孔上 25/45（55%）、在 LEGO 上 9/25（36%）、在 USB 上 17/20（85%），部分試驗需要安全停止。
擦拭任務調節名目 10 N 的法向力；若板擦前端關鍵點偏離白板邊緣超過 2 cm，或力降到 5 N 以下，該次試驗即判定為失敗。
就 USB 而言，短邊約 3 mm 的誤差就會造成失敗；先粗略再近距離的兩步驟腕部相機方案將感知誤差降到 2 mm。
藉由模仿成功試驗學得的代理人在全部三類插銷入孔上都能運作，但沒有勝過手寫的控制器，而且幾乎重現了該控制器。

限制

稀疏的關鍵點無法處理需要密集幾何資訊的任務，例如辨識插銷比孔大，或無碰撞的軌跡規劃（作者自述）。
假設物體相對於夾爪靜止，這將可施加的力限制在靜摩擦錐內能平衡的範圍；裝在腕部的相機無法偵測夾爪與物體之間的滑動（作者自述）。
失敗來自抓取失敗，以及大到回饋無法修正的關鍵點誤差；USB 隨身碟因可抓取性問題，必須預先固定在夾爪上（作者自述）。
針對任務的關鍵點必須由建模者為每個任務選定。
機器人模型與詳細設置參見附錄，但該附錄不在此 arXiv v1 版本中。

對領域的影響

它入圍 IEEE ICRA 2021 機器人操作最佳論文獎決選，被引用 91 次。論文表示其影片展示與原始碼已公開，並提供連結 https://sites.google.com/view/kpam2/ 。

摘要

本文探討針對精確、接觸密集任務的可泛化、從感知到動作的機器人操作。具體而言，我們提出一個閉迴路機器人操作框架，能自動處理一類物體，即使有可能未曾見過的物體實例，以及類別內在形狀、尺寸與外觀上的顯著差異。先前的方法通常在即時 6-DOF 姿態估測器之上建立回饋迴路。然而，以相對於固定幾何範本的參數化座標轉換來表示物體，無法捕捉類別內較大的形狀變化。因此，我們採用 kPAM [13] 為類別層級取放所提出、以關鍵點為基礎的物體表示法，並將其延伸到用於接觸密集任務的閉迴路操作策略。我們首先為關鍵點加入局部方向資訊。利用帶方向的關鍵點，我們提出一種新穎、以物體為中心的動作表示法，也就是調節這些帶方向關鍵點的線/角速度或力/力矩。這個建模方式出乎意料地通用：我們展示它能對一類形狀、尺寸與外觀各異的物體，完成需要精度與靈巧度的接觸密集操作任務，例如在插銷與孔的形狀差異顯著且間隙很小的情況下進行插銷入孔。藉由所提出的物體與動作表示法，我們的框架也與機器人的抓取姿態及物體的初始配置無關，因此便於整合與部署。影片展示與原始碼可透過此連結取得。

連結

arXiv 2102.06279: https://arxiv.org/abs/2102.06279
DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
PDF: https://arxiv.org/pdf/2102.06279v1
專案頁面: https://sites.google.com/view/kpam2/