GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

Autores: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O GRITS orienta uma Diffusion Policy no momento do teste com um classificador de derramamento treinado em 4000 coletas simuladas, reduzindo o derramamento no mundo real de 45 % para 4 % em alimentos não vistos.

Por que importa

Para robôs de preparo de alimentos e de assistência na alimentação, o derramamento é uma falha de segurança e de limpeza, não apenas uma pontuação menor. O GRITS acrescenta esse objetivo no momento do teste sem retreinar a política e o aprende a partir da simulação, e não de derramamentos reais.

Problema

Políticas de coleta com colher aprendidas por demonstração só cobrem os estados dos alimentos vistos em suas demonstrações, e Diffusion Policies que imitam bem ainda derramam quando encontram estados não vistos, como uma tigela muito cheia. Ensinar uma política a evitar derramamento com exemplos reais é impraticável, porque provocar derramamentos exige muita preparação e limpeza e traz o risco de estragar a comida.

Solução proposta

Uma Diffusion Policy baseada em CNN é treinada com 80 demonstrações cinestésicas, e um preditor de derramamento separado é treinado com 4000 tentativas de coleta simuladas no Isaac Lab, construídas com esferas, cubos, cones e cilindros com massa, atrito, raio e quantidade randomizados. Na inferência, o preditor pontua a trajetória limpa estimada em relação a uma nuvem de pontos segmentada (comida segmentada pelo SAM2 mais modelos conhecidos da colher e da tigela, codificada com DP3), e seu gradiente, ponderado por ρ = 2,5, é subtraído durante a remoção de ruído a partir de um passo limiar s = 30, para que primeiro se forme uma trajetória aproximada.

Principais ideias

Um classificador diferenciável treinado apenas em simulação pode orientar uma Diffusion Policy em um robô real quando sua entrada é uma nuvem de pontos segmentada em vez de RGB.
Aplicar o objetivo de derramamento dentro do laço de remoção de ruído funciona melhor que corrigir as trajetórias depois: a correção a posteriori reduziu o derramamento, mas elevou as falhas de coleta para 40 %.
Nuvens de pontos compostas (comida reconstruída pela câmera mais modelos conhecidos da colher e da tigela) foram críticas: nuvens de pontos brutas do sensor deram 61 % de sucesso e 23 % de derramamento.
A orientação troca um pouco de falha de coleta por segurança: 14 % de falhas de coleta com o GRITS contra 10 % da Diffusion Policy sem orientação.
Adiar a orientação até que exista uma trajetória aproximada (limiar s) evita correção excessiva nos primeiros passos de remoção de ruído.

Principais resultados

Dez categorias de alimentos não vistas, dois níveis de quantidade, cinco tentativas cada: o GRITS atingiu 82 % de sucesso na tarefa, 4 % de derramamento e 14 % de falha de coleta.
Diffusion Policy sem orientação: 48 % de sucesso e 45 % de derramamento; SCONE: 52 % e 17 %; clonagem de comportamento: 46 % e 43 %; baseado em regras: 29 % e 50 % (Fig. 6).
Diffusion Policy com correção de derramamento a posteriori: 45 % de sucesso e 40 % de falha de coleta; sua taxa de derramamento é de 8 % no texto, mas de 17 % na Fig. 6.
Ablação do preditor de derramamento: nuvem de pontos bruta 61 % de sucesso e 23 % de derramamento; codificador PointNet++ 70 % e 17 %; nuvem de pontos composta com codificador DP3 82 % e 4 %.
Por alimento (Fig. 7), o GRITS eliminou a maior parte do derramamento com sagu e feijão vermelho; mentos ainda derramavam ocasionalmente, e marshmallow, fudge e ameixa seca continuaram difíceis.
Os refinamentos são pequenos: um deslocamento médio de 0,3 cm entre pontos consecutivos da trajetória (Fig. 1).

Limitações

As falhas muitas vezes vêm de propriedades dos alimentos que a visão não consegue captar, como dureza, viscosidade e deformabilidade; os autores propõem estratégias de pré-interação e sensoriamento de força-torque ou tátil.
A orientação ocasionalmente falha em coletar a comida, elevando a falha de coleta um pouco acima da política sem orientação (14 % contra 10 %).
Apenas a etapa de coleta é aprendida; o transporte usa detecção da tigela com planejamento de movimento, e o despejo usa trajetórias predefinidas.
A avaliação consiste em 100 tentativas reais em uma única montagem Franka, com a tigela de origem fixa e a tigela de destino posicionada dentro de um espaço de trabalho de 35 × 30 cm.
Alimentos macios, pegajosos ou muito compactados (marshmallow, fudge, ameixa seca, mentos) ainda causaram falhas ou derramamento.

Impacto na área

Finalista do ICRA 2026 Best Paper Award on Robot Learning, com 3 citações. O artigo não informa nenhuma liberação de código, dados ou modelos.

Resumo

Pegar alimentos com colher é uma habilidade de manipulação crítica para robôs de preparo e serviço de alimentos. No entanto, os algoritmos de aprendizado robótico existentes, especialmente os métodos de aprendizado por demonstração, ainda têm dificuldade em lidar com estados diversos e dinâmicos dos alimentos, o que muitas vezes resulta em derramamento e menor confiabilidade. Neste trabalho, apresentamos o GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS. Esse arcabouço utiliza uma Diffusion Policy guiada para minimizar o derramamento de comida durante a coleta com colher e garantir a transferência confiável dos alimentos do local inicial ao local de destino. Especificamente, projetamos um preditor de derramamento que estima a probabilidade de derramamento dada a observação atual e o rollout de ações. O preditor é treinado em um conjunto de dados simulado com cenários de derramamento de comida, construído a partir de quatro formas primitivas (esferas, cubos, cones e cilindros) com propriedades físicas variadas, como massa, atrito e tamanho de partícula. No momento da inferência, o preditor serve como sinal de orientação diferenciável, conduzindo o processo de amostragem por difusão para trajetórias mais seguras sem deixar de preservar o sucesso da tarefa. Validamos o GRITS em uma plataforma robótica real de coleta de alimentos com colher. O GRITS é treinado em seis categorias de alimentos e avaliado em dez categorias não vistas, com formas e quantidades diferentes. O GRITS alcança uma taxa de sucesso na tarefa de 82 % e uma taxa de derramamento de 4 %, reduzindo o derramamento em mais de 40 % em comparação com baselines sem orientação, o que demonstra sua eficácia.

Open Source Robotics