RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Autoren: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

RoPotter bringt einem Roboter bei, Ton auf einer Töpferscheibe aus jeweils 40 Demonstrationen zu zwei Schalentypen zu formen, mithilfe eines 2D-Querschnitts des Tons und einer netzbasierten Rekonstruktion verdeckter Punkte.

Warum es wichtig ist

Es definiert eine Aufgabe mit langem Horizont für die kontinuierliche Manipulation volumetrischer verformbarer Objekte mit einem einfachen starren Finger ohne Freiheitsgrade und zeigt, dass günstige Aufgabenannahmen (Symmetrie und lokale Starrheit) gelernte Dynamikmodelle ersetzen können. Seine Evaluierung, die erzeugte Schalen per Chamfer-Distanz und CLIP-Ähnlichkeit mit demonstrierten vergleicht, ist ein praktikabler Ansatz für Aufgaben ohne klares Erfolgslabel.

Problem

Volumetrische verformbare Objekte wie Ton sind schwer zu modellieren: Gelernte Dynamikmodelle benötigen viele Stichproben und stehen bei Kontakt vor einer großen Sim-to-Real-Lücke, weshalb frühere Arbeiten zu Ton diskrete, aufgabenspezifische Aktionen mit freier Sicht auf das Objekt dazwischen nutzten. Auf einer Töpferscheibe verformt sich der Ton unter Kontakt kontinuierlich und ist teilweise vom Finger des Roboters verdeckt, sodass keiner der beiden Ansätze passt.

Lösungsansatz

RoPotter nutzt strukturelle Vorannahmen aus der Töpferaufgabe. Da die Scheibe den Ton radialsymmetrisch macht, stellt RoPotter-2D den Ton durch einen Querschnitt aus Punkten innerhalb von 5 mm einer Ebene durch seinen Massenschwerpunkt dar, während RoPotter-Mesh ein Netz an den anfänglichen Querschnitt anpasst, Knoten aus dem Finger herausschiebt, sichtbare Knoten zu beobachteten Punkten verschiebt und eine As-Rigid-As-Possible-Verformung (ARAP) anwendet, um verdeckten Ton zu schätzen. Eine Diffusion Policy auf Basis von 3D Diffusion Policy (DP3), mit einer Variante mit 2D-Encoder, wird auf diesen Zuständen aus teleoperierten Demonstrationen trainiert.

Wichtigste Erkenntnisse

Die radiale Symmetrie auf der Scheibe erlaubt es, den 3D-Tonzustand auf einen 2D-Querschnitt zu reduzieren, der Durchmesser, Höhe und Wandstärke weiterhin erfasst.
Die Behandlung des Fingerkontakts und die Durchsetzung lokaler Starrheit mit ARAP rekonstruieren den hinter dem Finger verdeckten Ton; das Hinzufügen des ARAP-Schritts senkte die Chamfer-Distanz um 66,3 %.
Da der geöffnete Durchmesser von der Tonmasse abhängt, muss die Policy die Phase des Wandhochziehens an den beobachteten Zustand anpassen; die DP3-Baseline passte sich am wenigsten an und machte Schalen mit mehr Ton zu hoch und mit weniger Ton zu niedrig.
Die demonstrierten Schalen selbst unterscheiden sich um etwa 2,0 mm, was begrenzt, wie genau irgendeine Policy sie in der Chamfer-Distanz treffen kann.

Hauptergebnisse

RoPotter-Mesh erzielte bei der Aufgabe der breiten Schale mit 250 g Ton einen um 44,4 % geringeren finalen Formfehler als die DP3-Baseline (Chamfer-Distanz 2,75 mm gegenüber 4,95 mm).
Ablation der Netzrekonstruktion (Chamfer-Distanz für Querschnitt / vollständige Punktwolke): vollständige Methode 1,50 / 2,58 mm; ohne ARAP 4,45 / 7,74 mm; ohne Kontaktbehandlung 15,41 / 17,01 mm; beobachtete Referenz 0,0 / 2,46 mm.
Bei allen Aufgaben mit 250 g oder 350 g Ton lag die Verteilung der Chamfer-Distanz zu den demonstrierten Schalen für beide vorgeschlagenen Policies niedriger als für die Baseline.
DP3 war nur bei der hohen Schale mit 350 g am besten (1,96 mm), wo auch RoPotter-2D unter 2,0 mm blieb (1,99 mm); DP3 scheiterte bei einem Versuch der hohen Schale mit 300 g.
Die CLIP-Ähnlichkeit zu den demonstrierten Schalen lag über die Methoden hinweg zwischen 0,940 und 0,974 und stimmte mit der geometrischen Metrik überein.

Einschränkungen

Die Autoren geben an, dass RoPotter-Mesh auf ein gut initialisiertes Netz und konsistente, genau beobachtete Roboteraktionen angewiesen ist, Annahmen, die in ihrem kontrollierten, strukturierten Aufbau gelten, aber nicht allgemein.
Die Policies sind nicht zielkonditioniert; jede Schalenform wird aus eigenen Demonstrationen gelernt, und die Definition einer nützlichen Zielrepräsentation bleibt künftiger Arbeit überlassen.
Die Aufgabe hat kein klares Erfolgskriterium, und die Autoren merken an, dass die Chamfer-Distanz durch Ausreißerpunkte verzerrt wird und hochfrequente Merkmale wegmittelt.
Die Methode setzt radiale Symmetrie und quasistatischen Ton voraus und ignoriert dynamische Effekte.
Ergebnisse der RoPotter-Mesh-Policy werden nur für die breite Schale berichtet; der Vergleich bei der hohen Schale umfasst DP3 und RoPotter-2D.

Wirkung auf das Fachgebiet

Finalist für den Humanoids 2024 Best Oral Presentation Award und 11-mal zitiert. Die Autoren stellen Zusatzmaterial, Versuchsdaten und Visualisierungen unter robot-pottery.github.io bereit.

Zusammenfassung

Menschen sind in der Lage, eine große Vielfalt verformbarer Objekte kontinuierlich zu komplexen Formen zu manipulieren. Möglich wird dies durch unser intuitives Verständnis der Materialeigenschaften und der Mechanik des Objekts, mit dem wir Objektzustände auch dann erschließen, wenn die visuelle Wahrnehmung verdeckt ist. Diese Fähigkeiten erlauben uns, vielfältige Aufgaben auszuführen, vom Kochen mit Teig bis zum Ausdruck unserer selbst durch Töpfern. Die Entwicklung von Robotersystemen, die ähnliche Aufgaben robust ausführen, bleibt jedoch schwierig, da aktuelle Methoden Mühe haben, volumetrische verformbare Objekte wirksam zu modellieren und das komplexe Verhalten zu erschließen, das diese typischerweise zeigen. Um Robotersysteme und Algorithmen zu untersuchen, die volumetrische Objekte verformen können, führen wir eine neuartige Robotikaufgabe ein: das kontinuierliche Verformen von Ton auf einer Töpferscheibe. Wir schlagen eine Pipeline für Wahrnehmung und das Lernen von Töpferfertigkeiten vor, RoPotter genannt, und zeigen darin, dass sich für das Töpfern spezifische strukturelle Vorannahmen nutzen lassen, um das Lernen von Töpferfertigkeiten zu vereinfachen. So können wir den Querschnitt des Tons auf eine Ebene projizieren, um den Zustand des Tons darzustellen und die Dimensionalität zu verringern. Außerdem demonstrieren wir eine netzbasierte Methode zur Rekonstruktion verdeckter Tonzustände, auf dem Weg zu Roboteragenten, die Ton kontinuierlich verformen können. Unsere Experimente zeigen, dass RoPotter mit der reduzierten Repräsentation und strukturellen Vorannahmen, die auf dem Verformungsverhalten des Tons beruhen, die Töpferaufgabe mit langem Horizont mit einem um 44,4 % geringeren finalen Formfehler ausführen kann als State-of-the-Art-Baselines.

Open Source Robotics