GRITS: A Spillage-Aware Guided Diffusion Policy for Robot Food Scooping Tasks

Autoren: Yen-Ling Tai, Yi-Ru Yang, Kuan-Ting Yu, Yu-Wei Chao, Yi-Ting Chen · ICRA 2026

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

GRITS führt eine Diffusion Policy zur Testzeit mit einem Verschüttungsklassifikator, der auf 4.000 simulierten Schöpfvorgängen trainiert ist, und senkt die Verschüttung in der realen Welt bei ungesehenen Lebensmitteln von 45 % auf 4 %.

Warum es wichtig ist

Für Roboter in der Speisenzubereitung und für unterstützendes Füttern ist Verschütten ein Versagen in Sicherheit und Sauberkeit, nicht nur ein niedrigerer Wert. GRITS fügt dieses Ziel zur Testzeit hinzu, ohne die Policy neu zu trainieren, und lernt es aus der Simulation statt aus realem Verschütten.

Problem

Schöpf-Policies aus dem Lernen aus Demonstrationen decken nur die Zustände der Lebensmittel ab, die in ihren Demonstrationen vorkamen, und Diffusion Policies, die gut imitieren, verschütten trotzdem, wenn sie auf ungesehene Zustände treffen, etwa eine sehr volle Schüssel. Einer Policy mit realen Beispielen beizubringen, Verschütten zu vermeiden, ist unpraktikabel, weil inszeniertes Verschütten viel Aufbau und Aufräumen erfordert und das Risiko birgt, Lebensmittel zu verderben.

Lösungsansatz

Eine CNN-basierte Diffusion Policy wird auf 80 kinästhetischen Demonstrationen trainiert, und ein separater Verschüttungsprädiktor wird auf 4.000 simulierten Schöpfversuchen in Isaac Lab trainiert, aufgebaut aus Kugeln, Würfeln, Kegeln und Zylindern mit randomisierter Masse, Reibung, Radius und Menge. Bei der Inferenz bewertet der Prädiktor die geschätzte saubere Trajektorie anhand einer segmentierten Punktwolke (mit SAM2 segmentierte Lebensmittel plus bekannte Modelle von Löffel und Schüssel, kodiert mit DP3), und sein mit ρ = 2,5 gewichteter Gradient wird beim Denoising nach einem Schwellenschritt s = 30 abgezogen, damit sich zuerst eine grobe Trajektorie bildet.

Wichtigste Erkenntnisse

Ein nur in der Simulation trainierter differenzierbarer Klassifikator kann eine Diffusion Policy auf einem realen Roboter führen, wenn seine Eingabe eine segmentierte Punktwolke statt RGB ist.
Das Verschüttungsziel innerhalb der Denoising-Schleife anzuwenden, funktioniert besser, als Trajektorien nachträglich zu korrigieren: Die nachträgliche Korrektur senkte das Verschütten, erhöhte aber die Schöpffehler auf 40 %.
Zusammengesetzte Punktwolken (von der Kamera rekonstruierte Lebensmittel plus bekannte Modelle von Löffel und Schüssel) waren entscheidend: Rohe Sensor-Punktwolken ergaben 61 % Erfolg und 23 % Verschüttung.
Die Führung tauscht etwas Schöpffehler gegen Sicherheit: 14 % Schöpffehler mit GRITS gegenüber 10 % für die ungeführte Diffusion Policy.
Die Führung erst einsetzen zu lassen, wenn eine grobe Trajektorie existiert (Schwelle s), vermeidet Überkorrekturen in frühen Denoising-Schritten.

Hauptergebnisse

Zehn ungesehene Lebensmittelkategorien, zwei Mengenstufen, je fünf Versuche: GRITS erreichte 82 % Aufgabenerfolg, 4 % Verschüttung und 14 % Schöpffehler.
Ungeführte Diffusion Policy: 48 % Erfolg und 45 % Verschüttung; SCONE: 52 % und 17 %; Verhaltensklonung: 46 % und 43 %; regelbasiert: 29 % und 50 % (Fig. 6).
Diffusion Policy mit nachträglicher Verschüttungskorrektur: 45 % Erfolg und 40 % Schöpffehler; ihre Verschüttungsrate beträgt im Text 8 %, in Fig. 6 jedoch 17 %.
Ablation des Verschüttungsprädiktors: rohe Punktwolke 61 % Erfolg und 23 % Verschüttung; PointNet++-Encoder 70 % und 17 %; zusammengesetzte Punktwolke mit DP3-Encoder 82 % und 4 %.
Pro Lebensmittel (Fig. 7) beseitigte GRITS den Großteil des Verschüttens bei Sago und roten Bohnen; mentos wurden noch gelegentlich verschüttet, und Marshmallow, Fudge und Backpflaume blieben schwierig.
Die Korrekturen sind klein: eine durchschnittliche Verschiebung von 0,3 cm zwischen aufeinanderfolgenden Trajektorienpunkten (Fig. 1).

Einschränkungen

Fehlschläge stammen oft von Eigenschaften der Lebensmittel, die das Sehen nicht erfassen kann, etwa Härte, Viskosität und Verformbarkeit; die Autoren schlagen Strategien vor der Interaktion und Kraft-/Moment- oder taktile Sensorik vor.
Die Führung verfehlt gelegentlich das Aufnehmen der Lebensmittel, wodurch die Schöpffehler leicht über denen der ungeführten Policy liegen (14 % gegenüber 10 %).
Nur die Schöpfphase wird gelernt; der Transfer nutzt Schüsseldetektion mit Bewegungsplanung, und das Ausgießen nutzt vordefinierte Trajektorien.
Die Evaluation umfasst 100 reale Versuche an einem einzigen Franka-Aufbau, wobei die Ausgangsschüssel fixiert und die Zielschüssel innerhalb eines Arbeitsraums von 35 × 30 cm platziert ist.
Weiche, klebrige oder dicht gepackte Lebensmittel (Marshmallow, Fudge, Backpflaume, mentos) verursachten weiterhin Fehlschläge oder Verschüttungen.

Wirkung auf das Fachgebiet

Finalist für den ICRA 2026 Best Paper Award on Robot Learning, mit 3 Zitationen. Das Paper nennt keine Veröffentlichung von Code, Daten oder Modellen.

Zusammenfassung

Robotisches Schöpfen von Lebensmitteln ist eine entscheidende Manipulationsfähigkeit für Roboter in der Speisenzubereitung und im Service. Bestehende Algorithmen des Roboterlernens, insbesondere Methoden des Lernens aus Demonstrationen, haben jedoch weiterhin Schwierigkeiten mit vielfältigen und dynamischen Zuständen von Lebensmitteln, was häufig zu Verschüttungen und verringerter Zuverlässigkeit führt. In dieser Arbeit stellen wir GRITS vor: A Spillage-Aware Guided Diffusion Policy for RobotIc Food Scoop TaskS. Dieses Framework nutzt eine geführte Diffusion Policy, um das Verschütten von Lebensmitteln beim Schöpfen zu minimieren und einen zuverlässigen Transfer der Lebensmittel vom Ausgangs- zum Zielort sicherzustellen. Konkret entwerfen wir einen Verschüttungsprädiktor, der die Wahrscheinlichkeit des Verschüttens bei gegebener aktueller Beobachtung und gegebenem Aktions-Rollout schätzt. Der Prädiktor wird auf einem simulierten Datensatz mit Verschüttungsszenarien trainiert, der aus vier Grundformen (Kugeln, Würfel, Kegel und Zylinder) mit variierenden physikalischen Eigenschaften wie Masse, Reibung und Partikelgröße aufgebaut ist. Zur Inferenzzeit dient der Prädiktor als differenzierbares Führungssignal, das den Diffusions-Sampling-Prozess zu sichereren Trajektorien hin lenkt und dabei den Aufgabenerfolg erhält. Wir validieren GRITS auf einer realen robotischen Plattform zum Schöpfen von Lebensmitteln. GRITS wird auf sechs Lebensmittelkategorien trainiert und auf zehn ungesehenen Kategorien mit unterschiedlichen Formen und Mengen evaluiert. GRITS erreicht eine Aufgabenerfolgsrate von 82 % und eine Verschüttungsrate von 4 % und verringert das Verschütten im Vergleich zu Baselines ohne Führung um über 40 %, womit es seine Wirksamkeit zeigt.

Open Source Robotics