MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

作者: Andrea Sipos, Nima Fazeli · RSS 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

兩支手臂讓抓持的物體互相輕觸數次；依據接觸、力與跨動作一致性評分的粒子濾波器，能將兩個手中姿態還原到約 0.5 cm。

為何重要

此方法不需要攝影機，也不需要高解析度的觸覺皮膚，只需要 Franka Emika Panda 這類協作機器人原本就具備的關節感測與力旋量估測，或一個市售的腕部力／力矩感測器。這讓手中姿態校正得以在有遮蔽的情境、以常見硬體來進行。

問題

被抓持物體的姿態誤差，會在工具使用與組裝時造成滑動、非預期的接觸與卡住。以視覺為基礎的估測器在遮蔽下會失效，而遮蔽在精細組裝與狹窄空間中很常見；高解析度觸覺感測器則昂貴、容易疲乏，且難以建模。單次接觸（如作者先前的 SCOPE 方法）往往讓姿態仍然模稜兩可。

提出的方法

MultiSCOPE 擴展了 SCOPE（它將接觸粒子濾波器 CPFGrasp 與物體姿態粒子濾波器搭配使用），從單次接觸擴展為兩支手臂所持兩個物體之間的一連串輕戳，只使用本體感覺與 6 軸腕部力旋量。它加入一個工具分割步驟（先對表面法向量做 K-Means，再做 DBSCAN），讓每個面都分配到接觸粒子；一個力旋量損失，偏好其接觸能解釋所量測腕部力旋量的姿態；以及一個記憶損失，以先前動作所建立的接觸點雲為姿態評分，並在某個先前動作被證實不一致時進行「記憶丟棄」（memory dropout）。

關鍵見解

結合多個接觸動作，能消除單一動作留下的模稜兩可：一次輕戳可能約束一個方向，第二次輕戳約束另一個方向
針對分割出的每個面取樣接觸粒子，而非在整個表面上均勻取樣，可避免漏掉面積小但功能重要的面，並減少所需的粒子數
要求估測的接觸能重現量測到的腕部力旋量（力旋量損失），是消融實驗中效果最強的單一損失
機器人之間的校準誤差很重要：未經校準時，作者觀察到兩支手臂之間有 1–1.5 cm 的 RMS 誤差，以基於 ICP 的程序校準後降至 3–7 mm

主要結果

模擬，扳手工具，10 次試驗、每次 5 個動作：工具姿態誤差為 0.47 ± 0.27 cm 與 −0.76 ± 2.01°，探針姿態誤差為 0.49 ± 0.28 cm 與 −2.67 ± 4.76°；10 次緊公差的扳手套螺絲任務中有 8 次成功
完整方法的損失消融實驗（表 I，5 次試驗）報告工具誤差為 0.48 ± 0.16 cm、任務成功率 100%，而 10 次試驗的實驗（內文與表 II）報告為 0.47 ± 0.27 cm 與 80%；兩者是不同的試驗組
僅用單一動作時，平均工具平移誤差為 1.08 cm、任務成功率 40%，完整的多動作方法則為 0.47 cm 與 80%（表 II）
力／力矩雜訊為訊號大小的 5% 時：工具誤差 0.52 ± 0.31 cm，5 個任務完成 4 個；雜訊為 8% 時沒有任何任務成功（工具誤差 1.13 ± 0.33 cm）
模擬中六角扳手、棘爪與齒輪工具的工具平移誤差分別為 0.31、0.33 與 0.49 cm（各 10 次試驗）
實體硬體，扳手工具，4 個動作：5 次任務試驗中 5 次成功（以圓柱體為目標，每側公差 3.5 mm）

限制

作者將動作選擇列為未來工作：輕戳動作是人工挑選的，需要更有系統的選擇方式來減少動作數量
此方法假設物體為剛體且幾何模型已知、接觸為不傳遞力矩的點接觸，且輕戳過程中沒有相對滑動
未對本體感覺雜訊建模；作者發現兩支實體手臂很難彼此校準（校準後 RMS 為 3–7 mm）
準確度隨力／力矩雜訊下降：雜訊達 8% 時，沒有任何任務導向的展示成功
由於平行夾爪的約束，姿態是在 SE(2) 中估測，而真實世界測試只使用一個工具，並以圓柱體取代螺絲頭

對領域的影響

入圍 RSS 2023 最佳學生論文獎決選，被引用 14 次。論文指引讀者至 www.mmintlab.com/multiscope/ 取得程式碼與影片；該頁面連結到程式碼儲存庫。

摘要

本文提出一種方法，利用雙臂機器人系統的本體感覺與觸覺回饋來估測手中物體的姿態。我們的方法藉由被抓持物體之間一連串的摩擦接觸互動，來降低姿態的不確定性。作為方法的一部分，我們提出：1) 一套工具分割程序，有助於估測接觸位置與物體姿態；2) 一個損失，讓我們能推論多次互動之間解的一致性；以及 3) 一個損失，促使收斂到能解釋每支手臂所承受外部力／力矩的物體姿態與接觸位置。我們在模擬與真實世界的雙臂平台上，以任務導向的展示證明此方法的成效，並顯示其物體姿態估測相較於單次互動有顯著改善。程式碼與影片請見 www.mmintlab.com/multiscope/。

連結

arXiv 2305.14204: https://arxiv.org/abs/2305.14204
DOI 10.48550/arXiv.2305.14204: https://doi.org/10.48550/arXiv.2305.14204
PDF: https://arxiv.org/pdf/2305.14204v1
程式碼: https://github.com/MMintLab/multiscope
專案頁面: https://www.mmintlab.com/multiscope/