GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

저자: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

GRITS는 시뮬레이션 뜨기 4,000회로 학습한 흘림 분류기로 테스트 시 Diffusion Policy를 유도하여, 처음 보는 음식에서 실제 세계 흘림을 45%에서 4%로 줄인다.

중요한 이유

음식 준비 및 식사 보조 로봇에게 흘림은 단지 낮은 점수가 아니라 안전과 청결의 실패이다. GRITS는 정책을 재학습하지 않고 테스트 시에 이 목표를 추가하며, 실제로 흘린 사례가 아니라 시뮬레이션으로부터 이를 학습한다.

문제

시연 학습 기반의 뜨기 정책은 시연에서 본 음식 상태만 다루며, 모방을 잘하는 Diffusion Policy도 그릇이 매우 가득 찬 경우처럼 처음 보는 상태를 만나면 여전히 흘린다. 실제 사례로 정책에 흘림 회피를 가르치는 것은 비현실적이다. 흘림을 연출하려면 준비와 청소에 큰 노력이 들고 음식을 망칠 위험이 있기 때문이다.

제안 방법

CNN 기반 Diffusion Policy는 운동감각(kinesthetic) 시연 80회로 학습되고, 별도의 흘림 예측기는 질량, 마찰, 반지름, 양을 무작위화한 구, 정육면체, 원뿔, 원기둥으로 Isaac Lab에서 만든 시뮬레이션 뜨기 시도 4,000회로 학습된다. 추론 시 예측기는 분할된 점군(SAM2로 분할한 음식과 알려진 숟가락 및 그릇 모델, DP3로 인코딩)에 대해 추정된 깨끗한 궤적을 채점하며, ρ = 2.5로 가중한 그 기울기를 임계 단계 s = 30 이후의 디노이징 중에 빼서 대략적인 궤적이 먼저 형성되도록 한다.

핵심 통찰

• 시뮬레이션에서만 학습한 미분 가능한 분류기도 입력이 RGB가 아니라 분할된 점군일 때 실제 로봇의 Diffusion Policy를 유도할 수 있다.
• 흘림 목표를 디노이징 루프 안에서 적용하는 것이 사후에 궤적을 보정하는 것보다 효과적이다. 사후 보정은 흘림을 줄였지만 뜨기 실패를 40%로 높였다.
• 합성 점군(카메라로 재구성한 음식과 알려진 숟가락 및 그릇 모델)이 결정적이었다. 센서 원시 점군은 성공률 61%, 흘림 23%를 냈다.
• 유도는 약간의 뜨기 실패를 안전과 맞바꾼다. 뜨기 실패는 GRITS 14%, 유도 없는 Diffusion Policy 10%이다.
• 대략적인 궤적이 생길 때까지(임계값 s) 유도를 늦추면 초기 디노이징 단계에서의 과잉 보정을 피할 수 있다.

주요 결과

• 처음 보는 음식 범주 10종, 양 2수준, 각 5회 시도: GRITS는 과제 성공률 82%, 흘림 4%, 뜨기 실패 14%에 도달했다.
• 유도 없는 Diffusion Policy: 성공 48%, 흘림 45%. SCONE: 52%와 17%. 행동 복제: 46%와 43%. 규칙 기반: 29%와 50%(Fig. 6).
• 사후 흘림 보정을 적용한 Diffusion Policy: 성공 45%, 뜨기 실패 40%. 흘림률은 본문에서는 8%이지만 Fig. 6에서는 17%이다.
• 흘림 예측기 절제: 원시 점군 성공 61%, 흘림 23%. PointNet++ 인코더 70%와 17%. DP3 인코더를 쓴 합성 점군 82%와 4%.
• 음식별(Fig. 7)로 GRITS는 사고(sago)와 팥에서 흘림 대부분을 없앴다. mentos는 여전히 가끔 흘렸고, 마시멜로, 퍼지, 말린 자두는 계속 어려웠다.
• 보정량은 작다. 연속된 궤적 점 사이의 평균 변위는 0.3 cm이다(Fig. 1).

한계

• 실패는 경도, 점도, 변형성처럼 시각으로 포착할 수 없는 음식 특성에서 비롯되는 경우가 많다. 저자들은 사전 상호작용 전략과 힘/토크 또는 촉각 감지를 제안한다.
• 유도는 때때로 음식을 뜨지 못하게 하여, 뜨기 실패를 유도 없는 정책보다 약간 높인다(14% 대 10%).
• 뜨기 단계만 학습된다. 옮기기는 그릇 검출과 모션 계획을 사용하고, 붓기는 미리 정의된 궤적을 사용한다.
• 평가는 하나의 Franka 설정에서 실제 시도 100회로 이루어졌으며, 원래 그릇은 고정되고 목표 그릇은 35 × 30 cm 작업 공간 안에 놓였다.
• 부드럽거나 끈적하거나 빽빽하게 채워진 음식(마시멜로, 퍼지, 말린 자두, mentos)은 여전히 실패나 흘림을 일으켰다.

분야에 미친 영향

ICRA 2026 Best Paper Award on Robot Learning 최종 후보, 인용 3회. 논문은 코드, 데이터, 모델의 공개를 명시하지 않는다.

초록

로봇 음식 뜨기는 음식 준비 및 서비스 로봇에게 중요한 조작 기술이다. 그러나 기존 로봇 학습 알고리즘, 특히 시연 학습 방법은 다양하고 동적인 음식 상태를 다루는 데 여전히 어려움을 겪으며, 이는 종종 흘림과 신뢰성 저하로 이어진다. 본 연구에서 우리는 GRITS: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS를 소개한다. 이 프레임워크는 유도(guided) Diffusion Policy를 활용해 뜨는 동안 음식 흘림을 최소화하고, 음식을 초기 위치에서 목표 위치로 안정적으로 옮기도록 한다. 구체적으로, 현재 관측과 행동 롤아웃이 주어졌을 때 흘림 확률을 추정하는 흘림 예측기를 설계한다. 예측기는 질량, 마찰, 입자 크기 같은 물리적 특성을 다양하게 한 네 가지 기본 형상(구, 정육면체, 원뿔, 원기둥)으로 구성한, 음식 흘림 시나리오가 포함된 시뮬레이션 데이터셋으로 학습된다. 추론 시 예측기는 미분 가능한 유도 신호로 작동하여, 과제 성공을 유지하면서 확산 샘플링 과정을 더 안전한 궤적 쪽으로 이끈다. 우리는 실제 로봇 음식 뜨기 플랫폼에서 GRITS를 검증한다. GRITS는 여섯 가지 음식 범주로 학습되고, 형상과 양이 다른 처음 보는 열 가지 범주에서 평가된다. GRITS는 82%의 과제 성공률과 4%의 흘림률을 달성하여 유도가 없는 기준선에 비해 흘림을 40% 넘게 줄였으며, 이로써 그 효과를 입증한다.

링크

• arXiv 2510.00573: https://arxiv.org/abs/2510.00573
• DOI 10.1109/ICRA57385.2026.11696572: https://doi.org/10.1109/ICRA57385.2026.11696572
• PDF: https://arxiv.org/pdf/2510.00573v1