RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

作者: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

RoPotter 利用黏土的 2D 截面，以及以網格為基礎還原被遮蔽的點，教機器人在拉坯機上把黏土塑成兩種碗，每種各使用 40 次示範。

為何重要

它定義了一項連續體積型可變形物體操作的長時域任務，只使用一根沒有任何自由度的簡單剛性手指，並顯示低成本的任務先驗（對稱性與局部剛性）可以取代學習而得的動力學模型。其評估方式以 Chamfer 距離與 CLIP 相似度比較做出的碗與示範中的碗，對於沒有明確成功標籤的任務是一種可行的做法。

問題

黏土這類體積型可變形物體很難建模：學習而得的動力學模型需要大量樣本，且在接觸上有很大的模擬到現實落差，因此先前的黏土研究使用離散、針對特定任務的動作，並在動作之間能清楚看到物體。在拉坯機上，黏土會在接觸下持續變形，而且部分被機器人手指遮住，因此兩種做法都不適用。

提出的方法

RoPotter 運用製陶任務的結構先驗。由於拉坯機讓黏土呈徑向對稱，RoPotter-2D 以一個截面表示黏土，該截面由距離一個穿過其質心之平面 5 mm 以內的點組成；RoPotter-Mesh 則對初始截面擬合一個網格，把頂點推出手指之外，把可見頂點移到觀測點上，再套用盡可能剛性（As-Rigid-As-Possible，ARAP）變形來估計被遮蔽的黏土。一個以 3D Diffusion Policy（DP3）為基礎、具有 2D 編碼器版本的擴散策略，以遠端操作示範所得的這些狀態進行訓練。

關鍵見解

• 拉坯機上的徑向對稱性，讓 3D 黏土狀態可以化簡為 2D 截面，同時仍能掌握直徑、高度與壁厚。
• 處理手指接觸並以 ARAP 施加局部剛性，可以還原被手指擋住的黏土；加入 ARAP 步驟讓 Chamfer 距離降低了 66.3%。
• 由於開口直徑取決於黏土質量，策略必須依觀測到的狀態調整拉高碗壁的階段；DP3 基準的適應能力最差，黏土多時碗做得太高，黏土少時又太矮。
• 示範中的碗本身就有約 2.0 mm 的差異，這限制了任何策略在 Chamfer 距離上能與其吻合的程度。

主要結果

• 在使用 250 g 黏土的寬碗任務上，RoPotter-Mesh 的最終形狀誤差比 DP3 基準低 44.4%（Chamfer 距離 2.75 mm 對 4.95 mm）。
• 網格重建消融實驗（截面 / 完整點雲上的 Chamfer 距離）：完整方法 1.50 / 2.58 mm；不含 ARAP 為 4.45 / 7.74 mm；不含接觸處理為 15.41 / 17.01 mm；觀測參考為 0.0 / 2.46 mm。
• 在所有使用 250 g 或 350 g 黏土的任務中，兩種所提策略與示範碗之間的 Chamfer 距離分布都低於基準。
• DP3 只在使用 350 g 黏土的高碗上表現最佳（1.96 mm），此時 RoPotter-2D 也維持在 2.0 mm 以下（1.99 mm）；DP3 在使用 300 g 黏土的一次高碗試驗中失敗。
• 各方法與示範碗之間的 CLIP 相似度介於 0.940 到 0.974 之間，與幾何指標一致。

限制

• 作者表示，RoPotter-Mesh 仰賴初始化良好的網格，以及一致且觀測準確的機器人動作，這些假設在其受控、結構化的設置中成立，但並非普遍成立。
• 策略並非以目標為條件；每種碗形都是從各自的示範中學習，定義有用的目標表示留待未來研究。
• 這項任務沒有明確的成功標準，作者指出 Chamfer 距離會受離群點影響，並會把高頻特徵平均掉。
• 此方法假設徑向對稱與準靜態的黏土，忽略了動態效應。
• RoPotter-Mesh 的策略結果只報告了寬碗；高碗的比較只涵蓋 DP3 與 RoPotter-2D。

對領域的影響

入圍 Humanoids 2024 最佳口頭報告獎決選，被引用 11 次。作者在 robot-pottery.github.io 提供補充資料、實驗資料與視覺化結果。

摘要

人類能持續操弄各式各樣的可變形物體，把它們塑造成複雜的形狀。這是因為我們對物體的材料特性與力學有直覺的理解，即使視覺被遮蔽，也能推斷物體的狀態。這些能力讓我們能執行各種任務，從用麵團烹飪到透過製陶來表達自我。然而，開發能穩健執行類似任務的機器人系統仍然很困難，因為現有方法難以有效建模體積型可變形物體，也難以推理它們通常展現的複雜行為。為研究能讓體積型物體變形的機器人系統與演算法，我們提出一項新穎的機器人任務：在拉坯機上持續讓黏土變形。我們提出一套用於感知與製陶技能學習的流程，稱為 RoPotter，並證明可以利用製陶任務特有的結構先驗來簡化製陶技能的學習過程。也就是說，我們可以把黏土的截面投影到一個平面上來表示黏土的狀態，以降低維度。我們也展示一種以網格為基礎、還原被遮蔽黏土狀態的方法，朝向能持續讓黏土變形的機器人代理邁進。實驗顯示，藉由使用以黏土變形行為為基礎的結構先驗所建立的精簡表示，RoPotter 能完成長時域的製陶任務，最終形狀誤差比最先進的基準方法低 44.4%。

連結

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• 專案頁面: https://robot-pottery.github.io/