GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

作者: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

GRITS 在测试时用一个在 4,000 次仿真舀取上训练的洒落分类器引导扩散策略，在未见过的食物上将真实世界洒落率从 45% 降至 4%。

为何重要

对于食品制备和辅助进食机器人而言，洒落是安全和卫生上的失败，而不仅仅是分数较低。GRITS 在测试时加入这一目标而无需重新训练策略，并且从仿真中而非从真实的洒落中学习它。

问题

从示范中学习的舀取策略只能覆盖示范中见过的食物状态，而模仿效果良好的扩散策略在遇到未见过的状态（例如碗装得很满）时仍会洒落。用真实样例教策略避免洒落并不现实，因为制造洒落需要大量的布置和清理工作，并且有损坏食物的风险。

提出的方法

一个基于 CNN 的扩散策略在 80 次动觉示教上训练，另一个独立的洒落预测器在 Isaac Lab 中的 4,000 次仿真舀取试验上训练，这些试验由球体、立方体、圆锥体和圆柱体构成，质量、摩擦、半径和数量均随机化。推理时，预测器针对分割后的点云（由 SAM2 分割的食物加上已知的勺子和碗模型，用 DP3 编码）对估计的干净轨迹进行评分，并在阈值步 s = 30 之后的去噪过程中减去以 ρ = 2.5 加权的梯度，从而让粗略轨迹先形成。

关键见解

• 一个仅在仿真中训练的可微分类器，在其输入是分割后的点云而非 RGB 时，可以引导真实机器人上的扩散策略。
• 在去噪循环内部施加洒落目标，比事后修正轨迹效果更好：事后修正降低了洒落，但使舀取失败率升至 40%。
• 复合点云（相机重建的食物加上已知的勺子和碗模型）至关重要：原始传感器点云只有 61% 的成功率和 23% 的洒落率。
• 引导以少量舀取失败换取安全性：GRITS 的舀取失败率为 14%，未引导的扩散策略为 10%。
• 将引导推迟到粗略轨迹形成之后（阈值 s），可以避免在早期去噪步骤中过度修正。

主要结果

• 十个未见过的食物类别、两个数量水平、每种五次试验：GRITS 达到 82% 的任务成功率、4% 的洒落率和 14% 的舀取失败率。
• 未引导的扩散策略：成功率 48%，洒落率 45%；SCONE：52% 和 17%；行为克隆：46% 和 43%；基于规则的方法：29% 和 50%（图 6）。
• 带事后洒落修正的扩散策略：成功率 45%，舀取失败率 40%；其洒落率在正文中为 8%，但在图 6 中为 17%。
• 洒落预测器消融：原始点云成功率 61%、洒落率 23%；PointNet++ 编码器 70% 和 17%；复合点云配 DP3 编码器 82% 和 4%。
• 按食物分别来看（图 7），GRITS 消除了西米和红豆的大部分洒落；mentos 仍偶尔洒落，棉花糖、软糖（fudge）和西梅仍然困难。
• 修正幅度很小：相邻轨迹点之间的平均位移为 0.3 cm（图 1）。

局限

• 失败常常源于视觉无法捕捉的食物特性，例如硬度、黏度和可变形性；作者提出采用交互前策略以及力/扭矩或触觉传感。
• 引导偶尔会导致没有舀到食物，使舀取失败率略高于未引导的策略（14% 对 10%）。
• 只有舀取阶段是学习得到的；转移使用碗检测加运动规划，倾倒使用预定义轨迹。
• 评估为在一套 Franka 装置上进行的 100 次真实试验，源碗位置固定，目标碗放置在 35 × 30 cm 的工作空间内。
• 柔软、黏稠或紧密堆积的食物（棉花糖、软糖、西梅、mentos）仍会导致失败或洒落。

对领域的影响

入围 ICRA 2026 机器人学习最佳论文奖（Best Paper Award on Robot Learning）决选，被引用 3 次。论文未说明是否发布代码、数据或模型。

摘要

机器人舀取食物是食品制备和服务机器人的一项关键操作技能。然而，现有的机器人学习算法，尤其是从示范中学习的方法，仍难以应对多样且动态变化的食物状态，这常常导致洒落并降低可靠性。在这项工作中，我们提出 GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS。该框架利用引导式扩散策略，在舀取过程中尽量减少食物洒落，并确保食物从初始位置可靠地转移到目标位置。具体而言，我们设计了一个洒落预测器，在给定当前观测和动作轨迹展开（rollout）的情况下估计洒落的概率。该预测器在一个包含食物洒落场景的仿真数据集上训练，该数据集由四种基本形状（球体、立方体、圆锥体和圆柱体）构成，并具有不同的物理属性，例如质量、摩擦和颗粒大小。在推理时，预测器作为一个可微的引导信号，引导扩散采样过程朝向更安全的轨迹，同时保持任务成功。我们在一个真实世界的机器人舀取食物平台上验证了 GRITS。GRITS 在六类食物上训练，并在形状和数量各不相同的十个未见过的类别上进行评估。GRITS 实现了 82% 的任务成功率和 4% 的洒落率，与不使用引导的基线相比洒落减少了 40% 以上，从而证明了其有效性。

链接

• arXiv 2510.00573: https://arxiv.org/abs/2510.00573
• DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
• PDF: https://arxiv.org/pdf/2510.00573v1