GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

Autori: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

GRITS guida una Diffusion Policy in fase di test con un classificatore di fuoriuscite addestrato su 4000 raccolte simulate, riducendo le fuoriuscite nel mondo reale dal 45 % al 4 % su alimenti mai visti.

Perché è importante

Per i robot di preparazione del cibo e di assistenza all'alimentazione, una fuoriuscita è un fallimento di sicurezza e di pulizia, non solo un punteggio più basso. GRITS aggiunge questo obiettivo in fase di test senza riaddestrare la policy, e lo apprende dalla simulazione anziché da fuoriuscite reali.

Problema

Le policy di raccolta con il cucchiaio apprese da dimostrazione coprono solo gli stati del cibo visti nelle loro dimostrazioni, e le Diffusion Policy che imitano bene continuano a far cadere cibo quando incontrano stati mai visti, come una ciotola molto piena. Insegnare a una policy a evitare le fuoriuscite con esempi reali è poco pratico, perché provocare fuoriuscite richiede molta preparazione e pulizia e rischia di rovinare il cibo.

Soluzione proposta

Una Diffusion Policy basata su CNN è addestrata su 80 dimostrazioni cinestetiche, e un predittore di fuoriuscite separato è addestrato su 4000 prove di raccolta simulate in Isaac Lab costruite con sfere, cubi, coni e cilindri con massa, attrito, raggio e quantità randomizzati. In inferenza, il predittore valuta la traiettoria pulita stimata rispetto a una nuvola di punti segmentata (cibo segmentato con SAM2 più modelli noti di cucchiaio e ciotola, codificata con DP3), e il suo gradiente, pesato con ρ = 2,5, viene sottratto durante il denoising a partire da un passo soglia s = 30, così che prima si formi una traiettoria approssimativa.

Idee chiave

Un classificatore differenziabile addestrato solo in simulazione può guidare una Diffusion Policy su un robot reale quando il suo input è una nuvola di punti segmentata anziché RGB.
Applicare l'obiettivo sulle fuoriuscite all'interno del ciclo di denoising funziona meglio che correggere le traiettorie a posteriori: la correzione a posteriori ha ridotto le fuoriuscite ma ha portato i fallimenti di raccolta al 40 %.
Le nuvole di punti composite (cibo ricostruito dalla telecamera più modelli noti di cucchiaio e ciotola) sono state decisive: le nuvole di punti grezze del sensore hanno dato il 61 % di successo e il 23 % di fuoriuscite.
La guida scambia un po' di fallimenti di raccolta con la sicurezza: 14 % di fallimenti di raccolta con GRITS contro il 10 % della Diffusion Policy senza guida.
Ritardare la guida finché non esiste una traiettoria approssimativa (soglia s) evita la sovracorrezione nei primi passi di denoising.

Risultati principali

Dieci categorie di alimenti mai viste, due livelli di quantità, cinque prove ciascuno: GRITS ha raggiunto l'82 % di successo nel compito, il 4 % di fuoriuscite e il 14 % di fallimenti di raccolta.
Diffusion Policy senza guida: 48 % di successo e 45 % di fuoriuscite; SCONE: 52 % e 17 %; behavior cloning: 46 % e 43 %; basato su regole: 29 % e 50 % (Fig. 6).
Diffusion Policy con correzione delle fuoriuscite a posteriori: 45 % di successo e 40 % di fallimenti di raccolta; il suo tasso di fuoriuscita è dell'8 % nel testo ma del 17 % nella Fig. 6.
Ablazione del predittore di fuoriuscite: nuvola di punti grezza 61 % di successo e 23 % di fuoriuscite; codificatore PointNet++ 70 % e 17 %; nuvola di punti composita con codificatore DP3 82 % e 4 %.
Per singolo alimento (Fig. 7), GRITS ha eliminato gran parte delle fuoriuscite con il sago e i fagioli rossi; le mentos cadevano ancora occasionalmente, e marshmallow, fudge e prugne secche sono rimasti difficili.
Le correzioni sono piccole: uno spostamento medio di 0,3 cm tra punti consecutivi della traiettoria (Fig. 1).

Limiti

I fallimenti derivano spesso da proprietà del cibo che la visione non può cogliere, come durezza, viscosità e deformabilità; gli autori propongono strategie di pre-interazione e sensori di forza-coppia o tattili.
La guida talvolta manca la raccolta del cibo, portando i fallimenti di raccolta leggermente sopra la policy senza guida (14 % contro 10 %).
Viene appresa solo la fase di raccolta; il trasferimento usa il rilevamento della ciotola con pianificazione del movimento, e il versamento usa traiettorie predefinite.
La valutazione comprende 100 prove reali su un unico allestimento Franka, con la ciotola di partenza fissa e la ciotola di destinazione posta in un'area di lavoro di 35 × 30 cm.
Gli alimenti morbidi, appiccicosi o molto compatti (marshmallow, fudge, prugne secche, mentos) hanno continuato a causare fallimenti o fuoriuscite.

Impatto sul settore

Finalista dell'ICRA 2026 Best Paper Award on Robot Learning, con 3 citazioni. L'articolo non indica alcun rilascio di codice, dati o modelli.

Abstract

Raccogliere il cibo con il cucchiaio è un'abilità di manipolazione fondamentale per i robot di preparazione e servizio del cibo. Tuttavia, gli algoritmi di apprendimento robotico esistenti, in particolare i metodi di apprendimento da dimostrazione, faticano ancora a gestire stati del cibo diversi e dinamici, il che spesso provoca fuoriuscite e riduce l'affidabilità. In questo lavoro presentiamo GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS. Questo framework sfrutta una Diffusion Policy guidata per ridurre al minimo le fuoriuscite di cibo durante la raccolta con il cucchiaio e garantire un trasferimento affidabile degli alimenti dalla posizione iniziale a quella di destinazione. In particolare, progettiamo un predittore di fuoriuscite che stima la probabilità di fuoriuscita data l'osservazione corrente e il rollout di azioni. Il predittore è addestrato su un dataset simulato con scenari di fuoriuscita di cibo, costruito a partire da quattro forme primitive (sfere, cubi, coni e cilindri) con proprietà fisiche variabili come massa, attrito e dimensione delle particelle. In fase di inferenza, il predittore funge da segnale di guida differenziabile, orientando il processo di campionamento per diffusione verso traiettorie più sicure preservando al contempo il successo del compito. Validiamo GRITS su una piattaforma robotica reale di raccolta del cibo con il cucchiaio. GRITS è addestrato su sei categorie di alimenti e valutato su dieci categorie mai viste, con forme e quantità diverse. GRITS ottiene un tasso di successo del compito dell'82 % e un tasso di fuoriuscita del 4 %, riducendo le fuoriuscite di oltre il 40 % rispetto alle baseline senza guida, dimostrando così la sua efficacia.

Link

arXiv 2510.00573: https://arxiv.org/abs/2510.00573
DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
PDF: https://arxiv.org/pdf/2510.00573v1