Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

作者: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

辨識機器人先前處理過的物體並重複使用其部分 TSDF 模型：成功率從 85% 升到 98%，所需的換手與重新掃描也更少。

為何重要

反覆看到相同物品的機器人（例如在倉庫或廚房中），可以利用先前的接觸來縮小形狀不確定性，而不必從頭開始。論文顯示這減少了將物體放入受限區域所需的額外操作步驟。

問題

針對沒有已知 3D 模型之物體的取放系統，通常把每個物體都當成新物體，即使同一物體先前已被處理過。為了放進狹小空間，它們必須為未見部分假設保守的體積，這迫使機器人進行額外的換手與主動感知動作，有時甚至完全找不到安全的抓取。

提出的方法

每個被操作的物體都以一個 1 mm 截斷有號距離場（TSDF）體積，加上來自不同視點的 64 個 ResNet50 顏色特徵叢集來儲存。新物體依餘弦距離與資料集比對，接著 GPU 粒子濾波器對儲存的部分模型進行配準，並剔除位於已觀測自由空間或桌面下方的姿態。同一個粒子濾波器會在手中追蹤物體，同時把新的深度視圖融合進其模型。

關鍵見解

佔據網格模型的精度不足以跨任務重複使用；1 mm 的 TSDF 體積則可以
剔除會讓模型落在已觀測之自由空間或支撐平面下方的姿態假設，在唯一一次錯誤辨識造成任務失敗之前就將其排除
以多個視點的特徵叢集而非單一平均特徵來表示物體，在所選門檻下將召回率從 0.211 提升到 0.886
偽陰性只會損失效率，因為物體會被當成新物體處理，而偽陽性可能讓任務失敗，因此門檻是針對高精確率而設定
只渲染感興趣區域，使粒子濾波器的迭代時間比先前的全影像方法減半

主要結果

任務成功 54/55（98%），將每個物體都當成新物體的基準則為 47/55（85%）
20/55 個任務（36%）出現換手動作，基準為 37/55（67%）
8/55 個任務（14%）出現主動感知動作，基準為 35/55（63%）
配準儲存的模型使保守的形狀不確定性體積平均減少 32%，最多減少 75%
在 49/55 次實驗中正確辨識物體，另有 5 次偽陰性，以及 1 次被姿態估測排除的偽陽性
四個物體的重建模型與真值的 Chamfer 距離皆在 5 mm 以內；姿態估測每次迭代約 30 ms，先前方法使用 625 個粒子時約 60 ms

限制

作者指出 TSDF 表示法不適合薄型結構，因此像碗這類物體難以重建與追蹤
雜亂場景留待未來研究；每個任務只包含單一個分開擺放的物體
物體被嚴重遮蔽時，重建模型會包含追蹤誤差造成的雜訊內部點
每個系統在 55 個任務中評估四個物體；物體的可見部分先前未曾被看過時，就會出現偽陰性

對領域的影響

入圍 ICRA 2022 傑出操作論文獎決選，被引用 17 次。作者表示，以粒子濾波器為基礎的姿態估測器已作為 6DoF 姿態標註工具在 GitHub 上開源。

摘要

本研究提出一套機器人流程，用於在沒有幾何形狀先驗的情況下拾取物體，並將其放置到受限的位置。相較於近期針對類似任務、假設每個物體都是新物體的研究，所提出的系統能辨識先前操作過的物體，並進行線上模型重建與重複使用。在終身操作的過程中，系統持續學習曾互動過之物體的特徵，並更新其重建模型。每當先前操作過之物體的實例再次出現時，系統會先辨識它，再根據目前的觀測對其先前重建的模型進行配準。這一步大幅降低物體形狀的不確定性，讓系統甚至能對物體目前無法觀測的部分進行推理。由於減少了操作過程中對目標物體進行主動感知的需要，這也帶來更好的操作效率。為了取得可重複使用的重建模型，所提出的流程採用：i) 以 TSDF 作為物體表示法，以及 ii) 標準粒子濾波器演算法的一個變體，用於部分物體模型的姿態估測與追蹤。此外，本文也提出一種建立與維護已操作物體資料集的有效方法。一系列真實世界的操作實驗顯示，藉由重複使用先前操作過之物體、即時產生的重建模型，而不是每次都把物體當成新物體，未來的操作任務會變得更有效且更有效率。

連結

arXiv 2109.13910: https://arxiv.org/abs/2109.13910
DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
PDF: https://arxiv.org/pdf/2109.13910v1