kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

Autori: Wei Gao, Russ Tedrake · ICRA 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Punti chiave 3D orientati fanno da stato e da azione di un controllore ad anello chiuso, così una sola policy gestisce inserimento di perno in foro con 0,2 mm, LEGO, USB e pulizia nonostante le variazioni di forma.

Perché è importante

Poiché stato e azione si riferiscono solo alla parte dell'oggetto rilevante per il compito, lo stesso controllore funziona su istanze di oggetti, pose di presa e configurazioni iniziali diverse senza regolazioni per singola istanza. Il framework fissa solo le interfacce, quindi si possono collegare altri moduli di percezione e agenti basati su modello o appresi.

Problema

Le pipeline di manipolazione ad anello chiuso costruiscono di solito la retroazione su uno stimatore di posa 6-DOF in tempo reale, ma una posa definita su un modello geometrico fisso non cattura grandi variazioni di forma all'interno di una categoria. Il metodo originale a punti chiave kPAM gestisce il pick-and-place a livello di categoria ma assume che all'oggetto si possa applicare una trasformazione rigida arbitraria, il che non vale per compiti ricchi di contatti come l'inserimento di perno in foro.

Soluzione proposta

Ai punti chiave viene dato un sistema di riferimento di orientamento locale, e l'azione del robot viene espressa come velocità lineare/angolare o forza/coppia desiderata di un punto chiave orientato, tradotta in comandi ai giunti tramite lo jacobiano del punto chiave. Le letture di forza/coppia vengono trasformate al punto chiave come un sensore virtuale, ingressi e uscite vengono riespressi in un sistema di riferimento nominale per adattarsi a nuovi posizionamenti, e un passo di pick-and-place di kPAM, semplificato dai punti chiave orientati, porta l'oggetto nella configurazione iniziale.

Idee chiave

Un punto chiave orientato, locale e specifico del compito ignora la geometria irrilevante, come il manico che il robot tiene, ed è questo che consente la generalizzazione a livello di categoria.
Se l'oggetto è rigido e tenuto saldamente può essere trattato come parte del robot, quindi i controllori standard nello spazio dei giunti traducono sui giunti i comandi di velocità o di forza del punto chiave.
Trasformare le letture di forza/coppia del polso nel sistema di riferimento del punto chiave le rende indipendenti dalla geometria dell'oggetto e dalla posa di presa.
Un errore visivo del punto chiave di circa 5 mm a 80 cm supera di gran lunga un gioco di 0,2 mm, quindi serve una correzione ad anello chiuso con punti chiave e forza/coppia; la riproduzione ad anello aperto fallisce.
Aggiungere l'orientamento ai punti chiave di kPAM elimina in molti casi la necessità di risolvere un'ottimizzazione con costi/vincoli per l'obiettivo del pick-and-place.

Risultati principali

Tassi di fallimento, metodo rispetto alla baseline ad anello aperto: pulizia della lavagna 1/25 (4 %) contro 16/20 (80 %); perno-foro stampati in 3D con gioco di 0,2 mm 12/45 (26 %) contro 19/20 (95 %).
Mattoncini LEGO 2/25 (8 %) contro 7/20 (35 %); porta USB 9/20 (45 %) contro 20/20 (100 %).
Una baseline a posa 6-DOF (inizializzazione con punti chiave più ICP su un modello) ha fallito 10/25 (40 %) nella pulizia, 25/45 (55 %) nel perno-foro stampato, 9/25 (36 %) con i LEGO e 17/20 (85 %) con l'USB, con alcune prove che hanno richiesto un arresto di sicurezza.
La pulizia ha regolato una forza normale nominale di 10 N; una prova era considerata fallita se il punto chiave anteriore del cancellino si discostava di oltre 2 cm dal bordo della lavagna o se la forza scendeva sotto i 5 N.
Per l'USB, un errore di circa 3 mm sul lato corto causa il fallimento; uno schema in due passi, prima grossolano e poi ravvicinato, con la telecamera sul polso ha ridotto l'errore di percezione a 2 mm.
Un agente appreso imitando le prove riuscite ha funzionato su tutte e tre le categorie di perno-foro ma non ha superato il controllore scritto a mano, che ha quasi riprodotto.

Limiti

I punti chiave sparsi non possono gestire compiti che richiedono una geometria densa, per esempio riconoscere che un perno è più grande del suo foro, né la pianificazione della traiettoria senza collisioni (secondo gli autori).
Si assume che l'oggetto sia fermo rispetto alla pinza, il che limita le forze applicate a quelle bilanciate all'interno dei coni di attrito statico; la telecamera montata sul polso non può rilevare lo slittamento tra pinza e oggetto (secondo gli autori).
I fallimenti sono dovuti a prese non riuscite e a errori dei punti chiave troppo grandi perché la retroazione li correggesse, e la chiavetta USB ha dovuto essere fissata in anticipo alla pinza per la sua difficoltà di presa (secondo gli autori).
I punti chiave specifici del compito devono essere scelti da chi modella, per ogni compito.
Il modello del robot e la configurazione dettagliata rimandano a un'appendice che non fa parte di questa copia arXiv v1.

Impatto sul settore

È stato finalista dell'IEEE ICRA 2021 Best Paper Award in Robot Manipulation e ha 91 citazioni. L'articolo afferma che la dimostrazione video e il codice sorgente sono disponibili e indica come link https://sites.google.com/view/kpam2/.

Abstract

In questo articolo esploriamo la manipolazione robotica generalizzabile, dalla percezione all'azione, per compiti precisi e ricchi di contatti. In particolare, proponiamo un framework per la manipolazione robotica ad anello chiuso che gestisce automaticamente una categoria di oggetti, nonostante istanze di oggetti potenzialmente mai viste e variazioni significative all'interno della categoria in forma, dimensioni e aspetto. Gli approcci precedenti costruiscono tipicamente un anello di retroazione sopra uno stimatore di posa 6-DOF in tempo reale. Tuttavia, rappresentare un oggetto con una trasformazione parametrizzata a partire da un modello geometrico fisso non cattura grandi variazioni di forma all'interno della categoria. Adottiamo quindi la rappresentazione degli oggetti basata su punti chiave proposta in kPAM [13] per il pick-and-place a livello di categoria, e la estendiamo a policy di manipolazione ad anello chiuso con compiti ricchi di contatti. Per prima cosa arricchiamo i punti chiave con informazioni di orientamento locale. Usando i punti chiave orientati, proponiamo una nuova rappresentazione delle azioni centrata sull'oggetto, in termini di regolazione della velocità lineare/angolare o della forza/coppia di questi punti chiave orientati. Questa formulazione è sorprendentemente versatile: dimostriamo che può svolgere compiti di manipolazione ricchi di contatti che richiedono precisione e destrezza per una categoria di oggetti con forme, dimensioni e aspetti diversi, come l'inserimento di perno in foro per perni e fori con variazioni di forma significative e gioco ridotto. Con la rappresentazione degli oggetti e delle azioni proposta, il nostro framework è inoltre indipendente dalla posa di presa del robot e dalla configurazione iniziale dell'oggetto, il che lo rende flessibile per l'integrazione e l'impiego. La dimostrazione video e il codice sorgente sono disponibili a questo link.

Link

arXiv 2102.06279: https://arxiv.org/abs/2102.06279
DOI 10.1109/LRA.2021.3062315: https://doi.org/10.1109/LRA.2021.3062315
PDF: https://arxiv.org/pdf/2102.06279v1
Pagina del progetto: https://sites.google.com/view/kpam2/