GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

Autores: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

GRITS guía una Diffusion Policy en el momento de la prueba con un clasificador de derrames entrenado con 4000 recogidas simuladas, y reduce los derrames en el mundo real del 45 % al 4 % con alimentos no vistos.

Por qué importa

Para los robots de preparación de comida y de asistencia en la alimentación, un derrame es un fallo de seguridad y de limpieza, no solo una puntuación más baja. GRITS añade este objetivo en el momento de la prueba sin reentrenar la política, y lo aprende de la simulación en lugar de derrames reales.

Problema

Las políticas de recogida con cuchara aprendidas por demostración solo cubren los estados de los alimentos vistos en sus demostraciones, y las Diffusion Policies que imitan bien siguen derramando cuando se encuentran con estados no vistos, como un cuenco muy lleno. Enseñar a una política a evitar derrames con ejemplos reales es poco práctico, porque provocar derrames exige mucha preparación y limpieza y conlleva el riesgo de estropear comida.

Solución propuesta

Una Diffusion Policy basada en CNN se entrena con 80 demostraciones cinestésicas, y un predictor de derrames independiente se entrena con 4000 ensayos de recogida simulados en Isaac Lab construidos con esferas, cubos, conos y cilindros con masa, fricción, radio y cantidad aleatorizados. En inferencia, el predictor puntúa la trayectoria limpia estimada frente a una nube de puntos segmentada (comida segmentada con SAM2 más modelos conocidos de la cuchara y el cuenco, codificada con DP3), y su gradiente, ponderado por ρ = 2,5, se resta durante la eliminación de ruido a partir de un paso umbral s = 30, para que primero se forme una trayectoria aproximada.

Ideas clave

Un clasificador diferenciable entrenado solo en simulación puede guiar una Diffusion Policy en un robot real cuando su entrada es una nube de puntos segmentada en lugar de RGB.
Aplicar el objetivo de derrames dentro del bucle de eliminación de ruido funciona mejor que corregir las trayectorias después: la corrección a posteriori redujo los derrames pero elevó los fallos de recogida al 40 %.
Las nubes de puntos compuestas (comida reconstruida por la cámara más modelos conocidos de la cuchara y el cuenco) fueron críticas: las nubes de puntos en bruto del sensor dieron un 61 % de éxito y un 23 % de derrames.
La guía cambia un poco de fallos de recogida por seguridad: 14 % de fallos de recogida con GRITS frente al 10 % de la Diffusion Policy sin guía.
Retrasar la guía hasta que existe una trayectoria aproximada (umbral s) evita la sobrecorrección en los primeros pasos de eliminación de ruido.

Resultados principales

Diez categorías de alimentos no vistas, dos niveles de cantidad, cinco ensayos cada uno: GRITS alcanzó un 82 % de éxito en la tarea, un 4 % de derrames y un 14 % de fallos de recogida.
Diffusion Policy sin guía: 48 % de éxito y 45 % de derrames; SCONE: 52 % y 17 %; clonación de comportamiento: 46 % y 43 %; basado en reglas: 29 % y 50 % (Fig. 6).
Diffusion Policy con corrección de derrames a posteriori: 45 % de éxito y 40 % de fallos de recogida; su tasa de derrames es del 8 % en el texto pero del 17 % en la Fig. 6.
Ablación del predictor de derrames: nube de puntos en bruto 61 % de éxito y 23 % de derrames; codificador PointNet++ 70 % y 17 %; nube de puntos compuesta con codificador DP3 82 % y 4 %.
Por alimento (Fig. 7), GRITS eliminó la mayor parte de los derrames con el sagú y la judía roja; los mentos todavía se derramaban ocasionalmente, y el marshmallow, el fudge y la ciruela pasa siguieron siendo difíciles.
Los refinamientos son pequeños: un desplazamiento medio de 0,3 cm entre puntos consecutivos de la trayectoria (Fig. 1).

Limitaciones

Los fallos suelen deberse a propiedades de los alimentos que la visión no puede captar, como la dureza, la viscosidad y la deformabilidad; los autores proponen estrategias de preinteracción y detección de fuerza-par o táctil.
La guía a veces no consigue recoger la comida, lo que eleva los fallos de recogida ligeramente por encima de la política sin guía (14 % frente a 10 %).
Solo se aprende la etapa de recogida; el traslado usa la detección del cuenco con planificación de movimiento, y el vertido usa trayectorias predefinidas.
La evaluación consta de 100 ensayos reales en un único montaje Franka, con el cuenco de origen fijo y el cuenco de destino situado dentro de un espacio de trabajo de 35 × 30 cm.
Los alimentos blandos, pegajosos o muy compactos (marshmallow, fudge, ciruela pasa, mentos) siguieron causando fallos o derrames.

Impacto en el campo

Finalista del ICRA 2026 Best Paper Award on Robot Learning, con 3 citas. El artículo no indica ninguna publicación de código, datos ni modelos.

Resumen

Recoger alimentos con cuchara es una habilidad de manipulación crítica para los robots de preparación y servicio de comida. Sin embargo, los algoritmos de aprendizaje robótico existentes, especialmente los métodos de aprendizaje por demostración, todavía tienen dificultades para manejar estados de los alimentos diversos y dinámicos, lo que a menudo provoca derrames y reduce la fiabilidad. En este trabajo presentamos GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS. Este marco aprovecha una Diffusion Policy guiada para minimizar el derrame de comida durante la recogida y garantizar una transferencia fiable de los alimentos desde la ubicación inicial hasta la de destino. En concreto, diseñamos un predictor de derrames que estima la probabilidad de derrame dada la observación actual y el rollout de acciones. El predictor se entrena con un conjunto de datos simulado con escenarios de derrame de comida, construido a partir de cuatro formas primitivas (esferas, cubos, conos y cilindros) con propiedades físicas variadas como la masa, la fricción y el tamaño de partícula. En el momento de la inferencia, el predictor sirve como señal de guía diferenciable que orienta el proceso de muestreo de difusión hacia trayectorias más seguras sin dejar de preservar el éxito de la tarea. Validamos GRITS en una plataforma robótica real de recogida de alimentos con cuchara. GRITS se entrena con seis categorías de alimentos y se evalúa con diez categorías no vistas de formas y cantidades diferentes. GRITS logra una tasa de éxito de la tarea del 82 % y una tasa de derrames del 4 %, reduciendo los derrames en más de un 40 % en comparación con los baselines sin guía, lo que demuestra su eficacia.

Enlaces

arXiv 2510.00573: https://arxiv.org/abs/2510.00573
DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
PDF: https://arxiv.org/pdf/2510.00573v1