Reactive Human-To-Robot Handovers of Arbitrary Objects

Autori: Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak, Dieter Fox · ICRA 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Segmentare la mano e afferrare ciò che resta: un sistema basato sulla visione permette a un Franka Panda di prendere 26 diversi oggetti domestici dalle persone e di ripianificare quando l'oggetto si muove.

Perché è importante

L'oggetto non deve appartenere alle categorie di un rilevatore pre-addestrato, che gli autori indicano come il principale collo di bottiglia del lavoro precedente più vicino. L'anello chiuso permette al robot di seguire un oggetto che la persona ruota dopo che il robot ha iniziato a muoversi, la causa della maggior parte dei fallimenti riportati in quel lavoro precedente.

Problema

I robot assistivi devono prendere molti tipi di oggetti dalle persone, ma la maggior parte degli studi sul passaggio di oggetti ha usato un solo oggetto e solo uno degli articoli esaminati ne ha usati più di sei. Prendere un oggetto da una mano è diverso dall'afferrare un oggetto fermo: l'oggetto può muoversi, è in parte nascosto dalle dita, limita le direzioni di avvicinamento, e il movimento del robot deve essere percepito come sicuro.

Soluzione proposta

Il sistema ritaglia la nuvola di punti attorno alla mano tracciata con l'Azure Kinect Body Tracking SDK, segmenta la mano nell'immagine RGB con una Feature Pyramid Network su ResNet-50 addestrata su maschere generate automaticamente ed etichetta come oggetto i punti rimanenti. 6-DOF GraspNet propone prese che vengono raffinate da un fotogramma all'altro con un campionamento Metropolis-Hastings tramite il suo valutatore di prese, le prese in collisione con la mano vengono rimosse, e un modello dei compiti Robust Logical Dynamical Systems con Riemannian Motion Policies sceglie ed esegue le pose di avvicinamento.

Idee chiave

Segmentare la mano, un compito ben definito, ed etichettare come oggetto i punti ritagliati rimanenti evita di dover segmentare direttamente oggetti mai visti.
Le maschere di addestramento per la mano si possono produrre senza annotatori umani, ritagliando dalla nuvola di punti la mano nuda tracciata e proiettandola nell'immagine.
Raffinare le prese del fotogramma precedente con il valutatore di prese mantiene le prese coerenti nel tempo senza riaddestrare GraspNet; le prese vengono ricampionate quando troppo poche sopravvivono a un movimento rapido della mano.
Assegnare un punteggio alle pose di avvicinamento in base alla distanza dalla migliore presa precedente e dalla posa di riposo mantiene il movimento fluido mentre si segue la persona.
Ruotare ogni presa di 180° attorno al suo asse Z raddoppia l'insieme dei candidati per una pinza a due dita.

Risultati principali

Il modello di segmentazione della mano raggiunge il 99,7 % di accuratezza per pixel, il 99,5 % di IoU pesata per frequenza e il 68,0 % di IoU media su un insieme di validazione raccolto nello stesso modo.
Test sistematico con una banana, un flacone di maionese giocattolo e una scatola di cereali giocattolo tenuti in orizzontale, a 45° e a 90°: complessivamente 11,39 ± 4,29 s per passaggio e 90 % di successo; banana 100 %, flacone 90 %, scatola di cereali 82 %.
Oggetto ruotato dopo che il robot ha iniziato a muoversi: 0–45° ha dato il 100 % di successo in 11,81 ± 3,93 s; 0–90° ha dato il 69 % in 15,41 ± 7,39 s.
Studio con 6 partecipanti che passano 10 oggetti: tempo medio di avvicinamento 10,7 ± 3,6 s, 1,3 ± 0,3 tentativi e tasso di successo dell'81,8 %; penna (50,0 %), tazza (54,5 %) e cucchiaio (66,7 %) sono stati i più bassi.
Il testo (sezioni V-A, V-B e VI-B) afferma che ogni oggetto è stato alla fine preso, entro tre tentativi o meno nel test sistematico, mentre le tabelle I e II riportano tassi di successo inferiori al 100 % per diversi oggetti.
Le valutazioni del questionario sono state intorno a 4 o superiori in tutte le dimensioni, con poca varianza tra i partecipanti.

Limiti

I fallimenti sono dovuti alla mancanza di profondità sulle superfici scure, alla rete di segmentazione che etichettava l'oggetto come mano e al rumore nella nuvola di punti ritagliata dovuto a oggetti vicini (secondo gli autori).
Il costo della cinematica inversa limita la velocità con cui il robot può aggiornare la presa obiettivo; i partecipanti hanno chiesto un movimento più rapido e fluido (secondo gli autori).
Lo studio con gli utenti ha avuto sei partecipanti, tutti reclutati nel laboratorio a causa dei protocolli di sicurezza per la pandemia (secondo gli autori).
La persona deve tenere l'oggetto in modo che il robot possa afferrarlo.
La valutazione sistematica ha usato un utente e tre oggetti, con passaggi ripetuti finché il robot non era riuscito tre volte.

Impatto sul settore

Ha vinto l'IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) e ha 99 citazioni. L'articolo rimanda a una pagina del progetto con altri risultati e video; non dichiara un rilascio di codice o di dati.

Abstract

Il passaggio di oggetti tra uomo e robot è stato un'area della robotica studiata attivamente nell'ultimo decennio; tuttavia, pochissime tecniche e sistemi hanno affrontato la sfida di passare oggetti diversi con aspetto, dimensioni, forma e rigidità arbitrari. In questo articolo presentiamo un sistema basato sulla visione che consente passaggi reattivi di oggetti sconosciuti dall'uomo al robot. Il nostro approccio combina la pianificazione del movimento ad anello chiuso con la generazione di prese in tempo reale e temporalmente coerente, per garantire reattività e fluidità del movimento. Il nostro sistema è robusto rispetto a diverse posizioni e orientamenti dell'oggetto e può afferrare oggetti sia rigidi sia non rigidi. Dimostriamo la capacità di generalizzazione, l'usabilità e la robustezza del nostro approccio su un nuovo insieme di riferimento di 26 oggetti domestici diversi, uno studio con utenti inesperti (N=6) che passano un sottoinsieme di 15 oggetti e una valutazione sistematica che esamina diversi modi di passare gli oggetti. Altri risultati e video sono disponibili su https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects.

Link

arXiv 2011.08961: https://arxiv.org/abs/2011.08961
DOI 10.1109/ICRA48506.2021.9561170: https://doi.org/10.1109/ICRA48506.2021.9561170
PDF: https://arxiv.org/pdf/2011.08961v1
Pagina del progetto: https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects