RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Autori: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

RoPotter insegna a un robot a modellare l'argilla su un tornio da vasaio in due tipi di ciotola a partire da 40 dimostrazioni ciascuno, usando una sezione trasversale 2D dell'argilla e un recupero basato su mesh dei punti nascosti.

Perché è importante

Definisce un compito a lungo orizzonte per la manipolazione continua di oggetti deformabili volumetrici usando un semplice dito rigido senza gradi di libertà, e mostra che conoscenze a priori economiche sul compito (simmetria e rigidità locale) possono sostituire modelli dinamici appresi. La sua valutazione, che confronta le ciotole prodotte con quelle dimostrate tramite la distanza di Chamfer e la similarità CLIP, è un approccio praticabile per compiti senza un'etichetta di successo chiara.

Problema

Gli oggetti deformabili volumetrici come l'argilla sono difficili da modellare: i modelli dinamici appresi richiedono molti campioni e affrontano un ampio divario sim-to-real nel contatto, per cui i lavori precedenti sull'argilla usavano azioni discrete e specifiche del compito con una visuale chiara dell'oggetto tra un'azione e l'altra. Su un tornio da vasaio l'argilla si deforma in modo continuo sotto il contatto ed è in parte nascosta dal dito del robot, quindi nessuno dei due approcci è adatto.

Soluzione proposta

RoPotter usa conoscenze strutturali a priori dal compito della ceramica. Poiché il tornio rende l'argilla radialmente simmetrica, RoPotter-2D rappresenta l'argilla con una sezione trasversale di punti entro 5 mm da un piano passante per il suo centro di massa, mentre RoPotter-Mesh adatta una mesh alla sezione trasversale iniziale, spinge i vertici fuori dal dito, sposta i vertici visibili sui punti osservati e applica una deformazione As-Rigid-As-Possible (ARAP) per stimare l'argilla nascosta. Una policy di diffusione costruita su 3D Diffusion Policy (DP3), con una variante a encoder 2D, viene addestrata su questi stati a partire da dimostrazioni teleoperate.

Idee chiave

• La simmetria radiale sul tornio consente di ridurre lo stato 3D dell'argilla a una sezione trasversale 2D che coglie comunque diametro, altezza e spessore della parete.
• Gestire il contatto del dito e imporre la rigidità locale con ARAP recupera l'argilla nascosta dietro il dito; aggiungere il passo ARAP ha ridotto la distanza di Chamfer del 66,3 %.
• Poiché il diametro di apertura dipende dalla massa di argilla, la policy deve adattare la fase di sollevamento della parete allo stato osservato; la baseline DP3 è quella che si è adattata meno, producendo ciotole troppo alte con più argilla e troppo basse con meno.
• Le stesse ciotole dimostrate variano di circa 2,0 mm, il che limita quanto qualsiasi policy possa avvicinarsi a esse in distanza di Chamfer.

Risultati principali

• RoPotter-Mesh ha prodotto un errore di forma finale inferiore del 44,4 % rispetto alla baseline DP3 nel compito della ciotola larga con 250 g di argilla (distanza di Chamfer di 2,75 mm contro 4,95 mm).
• Ablazione della ricostruzione della mesh (distanza di Chamfer sulla sezione trasversale / sulla nuvola di punti completa): metodo completo 1,50 / 2,58 mm; senza ARAP 4,45 / 7,74 mm; senza gestione del contatto 15,41 / 17,01 mm; riferimento osservato 0,0 / 2,46 mm.
• Per tutti i compiti con 250 g o 350 g di argilla, la distribuzione della distanza di Chamfer rispetto alle ciotole dimostrate è stata più bassa per entrambe le policy proposte che per la baseline.
• DP3 è stato il migliore solo sulla ciotola alta con 350 g (1,96 mm), dove anche RoPotter-2D è rimasto sotto 2,0 mm (1,99 mm); DP3 ha fallito una prova della ciotola alta con 300 g.
• La similarità CLIP con le ciotole dimostrate è variata da 0,940 a 0,974 tra i metodi ed è risultata in accordo con la metrica geometrica.

Limiti

• Gli autori affermano che RoPotter-Mesh si basa su una mesh ben inizializzata e su azioni del robot coerenti e osservate con precisione, ipotesi che valgono nella loro configurazione controllata e strutturata ma non in generale.
• Le policy non sono condizionate a un obiettivo; ogni forma di ciotola viene appresa dalle proprie dimostrazioni, e la definizione di una rappresentazione utile dell'obiettivo è lasciata a lavori futuri.
• Il compito non ha un criterio di successo chiaro, e gli autori notano che la distanza di Chamfer è distorta dai punti anomali e appiattisce in media le caratteristiche ad alta frequenza.
• Il metodo presuppone simmetria radiale e argilla quasi statica, ignorando gli effetti dinamici.
• I risultati della policy RoPotter-Mesh sono riportati solo per la ciotola larga; il confronto sulla ciotola alta riguarda DP3 e RoPotter-2D.

Impatto sul settore

Finalista dello Humanoids 2024 Best Oral Presentation Award e citato 11 volte. Gli autori rendono disponibili materiali supplementari, dati sperimentali e visualizzazioni su robot-pottery.github.io.

Abstract

Gli esseri umani sono in grado di manipolare in modo continuo un'ampia varietà di oggetti deformabili per dar loro forme complesse. Ciò è reso possibile dalla nostra comprensione intuitiva delle proprietà del materiale e della meccanica dell'oggetto, che ci consente di ragionare sullo stato dell'oggetto anche quando la percezione visiva è occlusa. Queste capacità ci permettono di svolgere compiti diversi, dal cucinare con l'impasto all'esprimerci attraverso la ceramica. Tuttavia, sviluppare sistemi robotici in grado di svolgere in modo robusto compiti simili resta difficile, poiché i metodi attuali faticano a modellare efficacemente gli oggetti deformabili volumetrici e a ragionare sul comportamento complesso che tipicamente mostrano. Per studiare sistemi e algoritmi robotici in grado di deformare oggetti volumetrici, introduciamo un nuovo compito robotico che consiste nel deformare in modo continuo l'argilla su un tornio da vasaio. Proponiamo una pipeline di percezione e di apprendimento di abilità di ceramica, chiamata RoPotter, in cui dimostriamo che le conoscenze strutturali a priori specifiche del compito della ceramica possono essere sfruttate per semplificare il processo di apprendimento delle abilità di ceramica. In particolare, possiamo proiettare la sezione trasversale dell'argilla su un piano per rappresentare lo stato dell'argilla, riducendo la dimensionalità. Dimostriamo inoltre un metodo basato su mesh per il recupero dello stato dell'argilla occlusa, in vista di agenti robotici in grado di deformare l'argilla in modo continuo. I nostri esperimenti mostrano che, usando la rappresentazione ridotta con conoscenze strutturali a priori basate sui comportamenti di deformazione dell'argilla, RoPotter può svolgere il compito di ceramica a lungo orizzonte con un errore di forma finale inferiore del 44,4 % rispetto alle baseline allo stato dell'arte.

Link

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• Pagina del progetto: https://robot-pottery.github.io/