MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback

Autori: Andrea Sipos, Nima Fazeli · RSS 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Due bracci fanno toccare più volte tra loro gli oggetti afferrati; filtri a particelle valutati su contatto, forza e coerenza tra le azioni recuperano entrambe le pose in mano con un errore di circa 0,5 cm.

Perché è importante

Il metodo non richiede né telecamera né pelle tattile ad alta risoluzione, solo il sensing dei giunti e la stima del wrench (forza e coppia) che cobot come il Franka Emika Panda già forniscono, oppure un comune sensore di forza-coppia al polso. Ciò rende possibile correggere la posa in mano in condizioni di occlusione con hardware comune.

Problema

Gli errori nella posa di un oggetto afferrato causano scivolamenti, contatti inattesi e inceppamenti nell'uso di utensili e nell'assemblaggio. Gli stimatori basati sulla visione falliscono in caso di occlusione, frequente nell'assemblaggio di precisione e negli spazi ristretti, e i sensori tattili ad alta risoluzione sono costosi, si usurano facilmente e sono difficili da modellare. Un singolo contatto (come nel precedente metodo SCOPE degli autori) lascia spesso la posa ambigua.

Soluzione proposta

MultiSCOPE estende SCOPE, che abbina un filtro a particelle di contatto (CPFGrasp) a un filtro a particelle della posa dell'oggetto, da un singolo contatto a una sequenza di tocchi tra due oggetti tenuti da due bracci, usando solo la propriocezione e i wrench al polso a 6 assi. Aggiunge un passaggio di segmentazione dell'utensile (K-Means sulle normali alla superficie, poi DBSCAN) affinché ogni faccia riceva particelle di contatto, una wrench loss che favorisce le pose i cui contatti spiegano il wrench misurato al polso, e una loss di memoria che valuta le pose rispetto a una nuvola di contatti costruita dalle azioni precedenti, con 'memory dropout' quando un'azione precedente si rivela incoerente.

Idee chiave

• Combinare più azioni di contatto elimina l'ambiguità che una singola azione lascia: un tocco può vincolare una direzione, un secondo tocco un'altra
• Campionare particelle di contatto per faccia segmentata, anziché uniformemente sulla superficie, evita di trascurare facce piccole ma funzionalmente importanti e riduce il numero di particelle necessarie
• Richiedere che i contatti stimati riproducano il wrench misurato al polso (la wrench loss) è stata la singola loss più efficace nell'ablazione
• L'errore di calibrazione tra i robot conta: senza calibrazione gli autori hanno osservato un errore RMS di 1-1,5 cm tra i due bracci, ridotto a 3-7 mm con una routine basata su ICP

Risultati principali

• Simulazione, utensile chiave inglese, 10 prove con 5 azioni: errore di posa dell'utensile di 0,47 ± 0,27 cm e −0,76 ± 2,01°, errore di posa della sonda di 0,49 ± 0,28 cm e −2,67 ± 4,76°; 8 compiti su 10 di chiave su vite a tolleranza stretta sono riusciti
• La sessione di ablazione delle loss del metodo completo (Tabella I, 5 prove) riporta un errore dell'utensile di 0,48 ± 0,16 cm e il 100 % di successo nel compito, mentre la sessione da 10 prove (testo e Tabella II) riporta 0,47 ± 0,27 cm e l'80 %; si tratta di insiemi di prove distinti
• Le singole azioni da sole hanno dato in media 1,08 cm di errore di traslazione dell'utensile e il 40 % di successo nel compito, contro 0,47 cm e l'80 % del metodo completo a più azioni (Tabella II)
• Con rumore di forza-coppia pari al 5 % dell'ampiezza del segnale: errore dell'utensile di 0,52 ± 0,31 cm e 4 compiti su 5 completati; con l'8 % di rumore nessun compito è riuscito (errore dell'utensile di 1,13 ± 0,33 cm)
• Gli utensili chiave esagonale, nottolino e ingranaggio in simulazione hanno dato errori di traslazione dell'utensile di 0,31, 0,33 e 0,49 cm (10 prove ciascuno)
• Hardware reale, utensile chiave inglese, 4 azioni: 5 prove su 5 del compito sono riuscite (tolleranza di 3,5 mm per lato usando un cilindro come bersaglio)

Limiti

• Gli autori indicano la selezione delle azioni come lavoro futuro: i tocchi sono stati scelti a mano, e serve una selezione più fondata per ridurre il numero di azioni
• Il metodo presuppone oggetti rigidi con modelli geometrici noti, contatti puntiformi che non trasmettono momento e nessuno scivolamento relativo durante i tocchi
• Il rumore della propriocezione non è modellato; gli autori hanno trovato difficile calibrare i due bracci reali l'uno rispetto all'altro (3-7 mm RMS dopo la calibrazione)
• L'accuratezza peggiora con il rumore di forza-coppia: con l'8 % di rumore nessuna dimostrazione basata su compito è riuscita
• Le pose sono stimate in SE(2) perché le pinze a griffe parallele le vincolano, e la prova nel mondo reale ha usato un solo utensile e un cilindro invece della testa di una vite

Impatto sul settore

Finalista del RSS 2023 Best Student Paper Award, con 14 citazioni. L'articolo rimanda a www.mmintlab.com/multiscope/ per codice e video; quella pagina contiene il link al repository del codice.

Abstract

In questo articolo proponiamo un metodo per stimare la posa degli oggetti in mano usando la propriocezione e il feedback tattile di un sistema robotico bimanuale. Il nostro metodo affronta il problema di ridurre l'incertezza sulla posa attraverso una sequenza di interazioni di contatto con attrito tra gli oggetti afferrati. Nell'ambito del metodo proponiamo 1) una routine di segmentazione degli utensili che facilita la stima della posizione del contatto e della posa dell'oggetto, 2) una loss che consente di ragionare sulla coerenza della soluzione tra le interazioni, e 3) una loss che favorisce la convergenza verso pose dell'oggetto e posizioni di contatto che spieghino la forza-coppia esterna subita da ciascun braccio. Dimostriamo l'efficacia del metodo in una dimostrazione basata su un compito, sia in simulazione sia su una piattaforma bimanuale reale, e mostriamo un miglioramento significativo nella stima della posa dell'oggetto rispetto alle singole interazioni. Visitate www.mmintlab.com/multiscope/ per codice e video.

Link

• arXiv 2305.14204: https://arxiv.org/abs/2305.14204
• DOI 10.48550/arXiv.2305.14204: https://doi.org/10.48550/arXiv.2305.14204
• PDF: https://arxiv.org/pdf/2305.14204v1
• Codice: https://github.com/MMintLab/multiscope
• Pagina del progetto: https://www.mmintlab.com/multiscope/