Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

作者: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

以粒子為基礎的 GNN 在行為基元的關鍵姿態處預測物體運動；對照單次示範中的 3-4 個關鍵影格搜尋基元參數，讓手臂能把物體放進雜亂的貨架。

為何重要

網路只在每個基元的關鍵姿態處被查詢，作者指出這減少了前向計算次數，也減少了長時域上的累積預測誤差。此系統只以模擬的箱形物體訓練，卻能零樣本轉移到實體的 Kinova Gen3 手臂上，並處理分布外的物體，例如瓶子、黏毛滾筒，以及較重或梯形的物品。

問題

要把物體放進雜亂的貨架，必須先推動並滑動原本在貨架上的物體來騰出空間，這牽涉到難以建模的多物體接觸與摩擦，而且時域很長。預先程式化的系統無法適應新的貨架擺設，類別層級的操作方法需要昂貴的資料收集與人工標註，而無模型強化學習需要太長的訓練時間，無法在實體機器人上從頭學會長時域任務。

提出的方法

每個物體都以均勻分布的粒子建模，一個在模擬中訓練的圖神經網路預測每個物體在一個行為基元（掃動、推動或搬運）之後的剛體變換；圖中包含夾爪到物體的邊、連到靜態貨架與桌面粒子的邊，以及一個針對預測夾爪位置的輔助損失。執行時，隨機射擊法為每個基元的參數取樣，網路預測結果，而預測物體位置最接近示範關鍵影格的那組參數，會以操作空間控制器（Operational Space Controller）執行。

關鍵見解

把機器人動作表示為帶有規劃運動的夾爪粒子，並在動態物體與靜態貨架和桌面粒子之間加入邊，在較難的掃動與搬運基元上，預測效果優於 RoboCraft 式的 GNN。
只在基元關鍵姿態處、而非在每個控制步驟預測物體狀態，可減少長時域任務中的前向計算次數與累積誤差。
在同一個模擬長時域上架任務中，學習而得的動力學模型結合搜尋，勝過無模型 RL（SAC、PPO）以及使用基元參數化動作空間的 PPO。
作為基元參數的最佳化器，隨機射擊法、交叉熵方法與梯度下降的表現相近。
2 技能組合（推動與搬運）在真實世界中達到與 3 技能組合相同的 95% 成功率，作者將此歸因於模型掌握了被抓持物體與貨架上物體之間的交互作用。

主要結果

真實世界，六種設定、每種 10 次試驗：3 種技能時成功率 95%，2 種技能時 95%，未進行動力學預測的人工調整啟發式方法則為 18%。
在同一流程中以 RoboCraft 作為學習而得的動力學模型：表 3 報告平均為 48%，但同一表中它在六種設定下的分數（10 次中分別為 4、7、4、6、7 與 5 次）加總為 33/60，也就是 55%。
模擬控制誤差（MSE）：本方法為 0.905 mm，參數化 PPO 為 22.925 mm、啟發式方法為 34.861 mm、PPO 為 87.479 mm、SAC 為 265.411 mm。
搬運基元的預測誤差：MSE 0.666 mm、EMD 31.232 mm、Chamfer 距離 38.068 mm，RoboCraft 則為 1.091、42.162 與 55.615 mm；在較簡單的推動基元上，RoboCraft 的 MSE 較低（0.216 對 0.292 mm），差距在一個標準差以內。
可變形物體（附錄）：3 種技能時 6/10，2 種技能時 4/10，RoboCraft 為 2/10，啟發式方法為 0/10。
訓練資料：每個基元 300 個隨機參數回合；推動與掃動的預測準確度在約 50 個樣本時趨於持平，搬運則在約 140 個樣本時趨於持平。

限制

仰賴人工從示範中標註有序的關鍵影格，作者表示這可能限制方法擴展到更大、更複雜的情境。
在訓練與推論中，物體都以箱形點雲表示，作者表示這可能無法反映交互作用與接觸更複雜的真實物體幾何。
真實世界的感知把每個物體都視為長方體，並以 SIFT 比對事先為已知物體資料庫拍攝的側面與頂面影像來辨識物體。
面對可變形物體時成功率下降（最佳為 6/10）。
基元庫（掃動、推動、搬運）是人工設計的；作者將基元設計與技能組合列為開放的研究方向。

對領域的影響

入圍 CoRL 2023 最佳論文 / 最佳學生論文獎決選，被引用 32 次。論文貢獻了一個以 robosuite 與 MuJoCo 建構的長時域操作上架基準；並未提供程式碼或資料連結。

摘要

上架（stowing），也就是把物體放進雜亂的貨架或料箱，是倉儲與製造作業中常見的任務。然而，由於複雜的多物體交互作用以及任務的長時域特性，上架難以自動化，因此這項任務目前仍主要由人類作業員完成。先前的研究通常需要大量的資料收集，以及針對各種物體類別的語意先驗進行昂貴的人工標註。本文提出一種方法，從物體交互作用的預測模型與一次搭配行為基元的示範中，學習可泛化的機器人上架策略。我們提出一個新穎的框架，利用圖神經網路在行為基元的參數空間內預測物體交互作用。我們進一步採用基元增強的軌跡最佳化，在預先定義的異質行為基元庫中搜尋參數，以實例化控制動作。我們的框架讓機器人能憑藉單次示範中的少數關鍵影格（3-4 個），熟練地執行長時域上架任務。儘管只在模擬中訓練，我們的框架仍展現出卓越的泛化能力。它能有效率地適應各種真實世界條件，包括不同的貨架寬度、變動的物體數量，以及大小與形狀等屬性各異的物體。

連結

arXiv 2309.16873: https://arxiv.org/abs/2309.16873
DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
PDF: https://arxiv.org/pdf/2309.16873v1