GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

作者: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

GRITS 在測試時以一個用 4,000 次模擬舀取訓練的灑落分類器引導 Diffusion Policy，在未見過的食物上將真實世界灑落率從 45% 降到 4%。

為何重要

對食品製備與輔助進食機器人而言，灑落是安全與清潔上的失敗，而不只是分數較低。GRITS 在測試時加入這項目標，不需重新訓練策略，並從模擬而非真實的灑落中學習。

問題

從示範中學習的舀取策略只涵蓋示範中出現過的食物狀態，而模仿得很好的 Diffusion Policy 在遇到未見過的狀態（例如碗裝得很滿）時仍會灑落。用真實範例教策略避免灑落並不實際，因為製造灑落需要大量布置與清理，且可能損壞食物。

提出的方法

一個以 CNN 為基礎的 Diffusion Policy 以 80 次動覺示範訓練，另一個獨立的灑落預測器則以 Isaac Lab 中 4,000 次模擬舀取試驗訓練，這些試驗由球體、立方體、圓錐體與圓柱體構成，質量、摩擦、半徑與數量皆隨機化。推論時，預測器針對分割後的點雲（以 SAM2 分割的食物加上已知的湯匙與碗模型，以 DP3 編碼）為估計的乾淨軌跡評分，並在門檻步 s = 30 之後的去噪過程中減去以 ρ = 2.5 加權的梯度，讓粗略軌跡先成形。

關鍵見解

• 一個只在模擬中訓練的可微分分類器，當其輸入是分割後的點雲而非 RGB 時，可以引導真實機器人上的 Diffusion Policy。
• 在去噪迴圈內施加灑落目標，比事後修正軌跡更有效：事後修正降低了灑落，但使舀取失敗率升到 40%。
• 複合點雲（相機重建的食物加上已知的湯匙與碗模型）至關重要：原始感測器點雲只有 61% 成功率與 23% 灑落率。
• 引導以些許舀取失敗換取安全：GRITS 的舀取失敗率為 14%，未經引導的 Diffusion Policy 為 10%。
• 將引導延後到粗略軌跡形成之後（門檻 s），可避免在早期去噪步驟中過度修正。

主要結果

• 十個未見過的食物類別、兩種數量水準、各五次試驗：GRITS 達到 82% 任務成功率、4% 灑落率與 14% 舀取失敗率。
• 未經引導的 Diffusion Policy：成功率 48%，灑落率 45%；SCONE：52% 與 17%；行為複製：46% 與 43%；規則式方法：29% 與 50%（圖 6）。
• 加上事後灑落修正的 Diffusion Policy：成功率 45%，舀取失敗率 40%；其灑落率在正文中為 8%，在圖 6 中則為 17%。
• 灑落預測器消融：原始點雲成功率 61%、灑落率 23%；PointNet++ 編碼器 70% 與 17%；複合點雲搭配 DP3 編碼器 82% 與 4%。
• 依食物分別來看（圖 7），GRITS 去除了西谷米與紅豆的大部分灑落；mentos 仍偶爾灑落，棉花糖、牛奶軟糖（fudge）與黑棗仍然困難。
• 修正幅度很小：相鄰軌跡點之間的平均位移為 0.3 cm（圖 1）。

限制

• 失敗常來自視覺無法捕捉的食物特性，例如硬度、黏度與可變形性；作者提出互動前的策略以及力/力矩或觸覺感測。
• 引導偶爾會讓食物沒舀到，使舀取失敗率略高於未經引導的策略（14% 對 10%）。
• 只有舀取階段是學習而來；轉移使用碗偵測加上運動規劃，傾倒則使用預先定義的軌跡。
• 評估為在一套 Franka 裝置上進行的 100 次真實試驗，來源碗位置固定，目標碗放在 35 × 30 cm 的工作範圍內。
• 柔軟、黏稠或緊密堆積的食物（棉花糖、牛奶軟糖、黑棗、mentos）仍會造成失敗或灑落。

對領域的影響

入圍 ICRA 2026 機器人學習最佳論文獎（Best Paper Award on Robot Learning）決選，被引用 3 次。論文未說明是否釋出程式碼、資料或模型。

摘要

機器人舀取食物是食品製備與服務型機器人的關鍵操作技能。然而，現有的機器人學習演算法，尤其是從示範中學習的方法，仍難以應付多樣且動態變化的食物狀態，經常導致灑落並降低可靠度。本研究提出 GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS。此框架利用引導式 Diffusion Policy，在舀取時盡量減少食物灑落，並確保食物能從初始位置可靠地轉移到目標位置。具體而言，我們設計了一個灑落預測器，根據目前的觀測與動作軌跡展開（rollout）估計灑落的機率。此預測器以包含食物灑落情境的模擬資料集訓練，該資料集由四種基本形狀（球體、立方體、圓錐體與圓柱體）構成，並具有不同的物理特性，例如質量、摩擦與顆粒大小。推論時，預測器作為可微分的引導訊號，引導擴散取樣過程走向更安全的軌跡，同時維持任務成功。我們在一個真實世界的機器人舀取食物平台上驗證 GRITS。GRITS 以六類食物訓練，並在形狀與數量各異的十個未見過類別上評估。GRITS 達到 82% 的任務成功率與 4% 的灑落率，與沒有引導的基準方法相比，灑落減少超過 40%，證明了其有效性。

連結

• arXiv 2510.00573: https://arxiv.org/abs/2510.00573
• DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
• PDF: https://arxiv.org/pdf/2510.00573v1