Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

作者: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

RoboCook 以每種工具 20 分鐘真實資料訓練的 GNN 建模麵團與工具的交互作用，用 PointNet++ 分類器挑選工具，並使用 15 種可替換的工具包餃子。

為何重要

此系統展示一支配有換工具裝置的通用手臂，完成九個步驟的包餃子流程，並在有人於任務中途讓麵團變形、加入麵團或更換麵團時恢復。由於策略每個動作只需一次前向計算，規劃只要幾秒鐘，而使用相同學習模型、以最佳化為基礎的規劃器則需要數分鐘。

問題

包餃子這類長時域軟體任務，既需要離散地選擇要用哪種工具，也需要連續地選擇如何移動它，而彈塑性麵團的變形方式很難建模。先前學習動力學的方法只處理單一工具的短時域任務，而彈塑性物體的模擬器則有明顯的模擬到現實落差。

提出的方法

四台 RGB-D 攝影機產生一個合併的點雲，由此將麵團重建為水密網格，並重新取樣為 300 個表面粒子，再與工具網格上的粒子串接。一個以每種工具約 20 分鐘隨機探索資料訓練的 GNN 預測麵團如何變形；一個 PointNet++ 分類器為下一個子目標提出三個最可能的工具；一個以 GNN 產生的合成資料訓練的 PointNet++ 策略，為夾取、按壓與擀平輸出動作參數，其他工具則使用人工編寫的規劃器。每個動作之後以視覺回饋形成閉迴路。

關鍵見解

  • 訓練 GNN 只預測往後兩步，就足以在推論時做出準確的 15 步預測。
  • 以 GNN 產生的合成 rollout 離線訓練的策略涵蓋整個動作空間，並勝過使用相同 GNN 與工具分類器的線上規劃器（梯度下降、CEM 與 RL）。
  • 每種工具的動作空間只有二到四個參數，是從 6-DoF 末端執行器空間去除冗餘自由度而得，讓規劃保持可行。
  • 只以麵粉、水與鹽製成的麵團訓練的動力學模型，不需重新訓練，就能在 Play-Doh、風乾黏土與模型泡棉上塑出字母 K。
  • 以 PointNet 為基礎的工具分類器，泛化能力優於以 ResNet 為基礎的分類器，作者將此歸因於它能編碼深度。

主要結果

  • 字母塑形（R、O、B、C、K）：100 名受試者辨識 RoboCook 所做字母的準確度為 0.90 ± 0.11，RoboCraft 為 0.54、CEM+GNN 為 0.52、CEM+MPM 為 0.48、RL+GNN 為 0.17。
  • 點雲指標：Chamfer 距離 0.0062 ± 0.0007，Earth Mover's 距離 0.0042 ± 0.0006，為五種方法中最低。
  • 規劃時間為 9.3 ± 1.5 s，RoboCraft 為 613.7 s、CEM+GNN 為 756.0 s、CEM+MPM 為 1486.7 s、RL+GNN 為 1867.9 s；完整的包餃子流程約需 10 s 的規劃。
  • 工具分類器在其訓練資料的測試切分上達到 0.996 的實例準確度。
  • 使用相同工具的五名受試者，自行選擇工具時明顯不如 RoboCook，而在給定工具順序與子目標時，則與其相當或更差。

限制

  • 作者指出：麵團偶爾會黏在工具上，需要一套自動錯誤修正系統。
  • 作者指出：系統仰賴人類對每種工具動作空間的先驗知識。
  • 作者指出：子目標由人類定義；若要去除，需要更高層次的時間抽象與任務層級規劃。
  • 作者指出：纜線與布料需要額外的拓撲估測。
  • 學習而得的動力學與策略只涵蓋夾爪、擀棒、壓具與沖具；刀、切模、推板與鏟子使用人工編寫的規劃器，鉤子動作則是預先編碼的。

對領域的影響

榮獲 CoRL 2023 最佳系統論文獎；被引用 137 次（依所給數字）。官方專案頁面連結了 RoboCook 程式碼儲存庫與一個存放資料的資料夾。

摘要

人類藉由靈活運用工具，擅長完成複雜的長時域軟體操作任務：烤麵包需要用刀切麵團，再用擀麵棍把它擀平。工具使用常被視為人類認知的標誌，但由於難以理解工具與物體之間的交互作用，自主機器人對工具的運用仍然有限。我們在此開發一套智慧機器人系統 RoboCook，能以各種工具感知、建模並操作彈塑性物體。RoboCook 使用點雲場景表示，以圖神經網路（GNN）建模工具與物體的交互作用，並結合工具分類與自監督策略學習來擬定操作計畫。我們證明，每種工具只需 20 分鐘的真實世界互動資料，一支通用機器手臂就能學會複雜的長時域軟物體操作任務，例如包餃子與製作字母餅乾。大量評估顯示，RoboCook 大幅勝過最先進的方法，對嚴重的外部干擾展現穩健性，並能適應不同的材料。

連結

  • arXiv 2306.14447: https://arxiv.org/abs/2306.14447
  • DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
  • PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
  • 程式碼: https://github.com/hshi74/robocook
  • 專案頁面: https://hshi74.github.io/robocook

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。