GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

Auteurs: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

GRITS guide une Diffusion Policy au moment du test avec un classifieur de renversement entraîné sur 4 000 prélèvements simulés, ce qui réduit le renversement dans le monde réel de 45 % à 4 % sur des aliments jamais vus.

Pourquoi c'est important

Pour les robots de préparation des repas et d'aide à l'alimentation, un renversement est un échec de sécurité et de propreté, pas seulement un score plus bas. GRITS ajoute cet objectif au moment du test sans réentraîner la politique, et l'apprend à partir de la simulation plutôt que de renversements réels.

Problème

Les politiques de prélèvement apprises par démonstration ne couvrent que les états d'aliments vus dans leurs démonstrations, et des Diffusion Policies qui imitent bien renversent tout de même lorsqu'elles rencontrent des états jamais vus, comme un bol très plein. Apprendre à une politique à éviter les renversements avec des exemples réels n'est pas réaliste, car mettre en scène des renversements demande une installation et un nettoyage importants et risque d'abîmer les aliments.

Solution proposée

Une Diffusion Policy fondée sur un CNN est entraînée sur 80 démonstrations kinesthésiques, et un prédicteur de renversement distinct est entraîné sur 4 000 essais de prélèvement simulés dans Isaac Lab, construits à partir de sphères, de cubes, de cônes et de cylindres de masse, de frottement, de rayon et de quantité aléatoires. À l'inférence, le prédicteur note la trajectoire propre estimée au regard d'un nuage de points segmenté (aliments segmentés par SAM2 plus modèles connus de la cuillère et du bol, encodés avec DP3), et son gradient, pondéré par ρ = 2,5, est soustrait pendant le débruitage après une étape seuil s = 30 afin qu'une trajectoire grossière se forme d'abord.

Idées clés

• Un classifieur différentiable entraîné uniquement en simulation peut guider la Diffusion Policy d'un robot réel lorsque son entrée est un nuage de points segmenté plutôt qu'une image RGB.
• Appliquer l'objectif de renversement à l'intérieur de la boucle de débruitage fonctionne mieux que corriger les trajectoires après coup : la correction a posteriori a réduit le renversement mais a porté les échecs de prélèvement à 40 %.
• Les nuages de points composites (aliments reconstruits par la caméra plus modèles connus de la cuillère et du bol) ont été déterminants : les nuages de points bruts du capteur ont donné 61 % de réussite et 23 % de renversement.
• Le guidage échange un peu d'échecs de prélèvement contre de la sécurité : 14 % d'échecs de prélèvement avec GRITS contre 10 % pour la Diffusion Policy non guidée.
• Retarder le guidage jusqu'à ce qu'une trajectoire grossière existe (seuil s) évite la surcorrection lors des premières étapes de débruitage.

Principaux résultats

• Dix catégories d'aliments jamais vues, deux niveaux de quantité, cinq essais chacun : GRITS a atteint 82 % de réussite de la tâche, 4 % de renversement et 14 % d'échecs de prélèvement.
• Diffusion Policy non guidée : 48 % de réussite et 45 % de renversement ; SCONE : 52 % et 17 % ; clonage de comportement : 46 % et 43 % ; approche à base de règles : 29 % et 50 % (Fig. 6).
• Diffusion Policy avec correction a posteriori du renversement : 45 % de réussite et 40 % d'échecs de prélèvement ; son taux de renversement est de 8 % dans le texte mais de 17 % dans la Fig. 6.
• Ablation du prédicteur de renversement : nuage de points brut 61 % de réussite et 23 % de renversement ; encodeur PointNet++ 70 % et 17 % ; nuage de points composite avec encodeur DP3 82 % et 4 %.
• Par aliment (Fig. 7), GRITS a supprimé l'essentiel des renversements pour le sagou et les haricots rouges ; les mentos se renversaient encore parfois, et la guimauve, le fudge et les pruneaux sont restés difficiles.
• Les ajustements sont faibles : un déplacement moyen de 0,3 cm entre points consécutifs de la trajectoire (Fig. 1).

Limites

• Les échecs proviennent souvent de propriétés des aliments que la vision ne peut pas capter, comme la dureté, la viscosité et la déformabilité ; les auteurs proposent des stratégies de pré-interaction et une perception de force/couple ou tactile.
• Le guidage fait parfois manquer la prise d'aliments, ce qui élève légèrement les échecs de prélèvement au-dessus de la politique non guidée (14 % contre 10 %).
• Seule l'étape de prélèvement est apprise ; le transfert utilise la détection du bol avec planification de mouvement, et le versement utilise des trajectoires prédéfinies.
• L'évaluation porte sur 100 essais réels sur un seul dispositif Franka, avec le bol source fixe et le bol cible placé dans un espace de travail de 35 × 30 cm.
• Les aliments mous, collants ou densément tassés (guimauve, fudge, pruneau, mentos) ont encore provoqué des échecs ou des renversements.

Impact sur le domaine

Finaliste de l'ICRA 2026 Best Paper Award on Robot Learning, avec 3 citations. L'article n'indique aucune publication de code, de données ou de modèles.

Résumé

Le prélèvement robotique d'aliments à la cuillère est une compétence de manipulation essentielle pour les robots de préparation et de service alimentaires. Cependant, les algorithmes d'apprentissage robotique existants, en particulier les méthodes d'apprentissage par démonstration, peinent encore à gérer des états d'aliments divers et dynamiques, ce qui entraîne souvent des renversements et une fiabilité réduite. Dans ce travail, nous présentons GRITS : A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS. Ce cadre exploite une Diffusion Policy guidée pour minimiser le renversement d'aliments pendant le prélèvement à la cuillère et garantir un transfert fiable des aliments de l'emplacement initial à l'emplacement cible. Plus précisément, nous concevons un prédicteur de renversement qui estime la probabilité de renversement étant donnés l'observation courante et le déroulé d'actions. Le prédicteur est entraîné sur un jeu de données simulé comportant des scénarios de renversement d'aliments, construit à partir de quatre formes primitives (sphères, cubes, cônes et cylindres) aux propriétés physiques variées telles que la masse, le frottement et la taille des particules. À l'inférence, le prédicteur sert de signal de guidage différentiable, orientant le processus d'échantillonnage par diffusion vers des trajectoires plus sûres tout en préservant la réussite de la tâche. Nous validons GRITS sur une plateforme robotique réelle de prélèvement d'aliments à la cuillère. GRITS est entraîné sur six catégories d'aliments et évalué sur dix catégories jamais vues, de formes et de quantités différentes. GRITS atteint un taux de réussite de la tâche de 82 % et un taux de renversement de 4 %, réduisant le renversement de plus de 40 % par rapport aux références sans guidage, ce qui démontre son efficacité.

Liens

• arXiv 2510.00573: https://arxiv.org/abs/2510.00573
• DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
• PDF: https://arxiv.org/pdf/2510.00573v1