Multi-Resolution POMDP Planning for Multi-Object Search in 3D

Autori: Kaiyu Zheng, Yoonchang Sung, George Konidaris, Stefanie Tellex · IROS 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Ricerca 3D di più oggetti come POMDP, risolta online pianificando in parallelo a più risoluzioni dell'octree; supera le baseline piatte in grandi spazi simulati e gira su un Kinova MOVO.

Perché è importante

Porta la ricerca di oggetti con POMDP dalle mappe 2D alle regioni di ricerca 3D, mantenendo la pianificazione online entro un tempo fisso per passo. Il belief su octree non deve essere costruito per intero, e l'occlusione è gestita tramite un'etichetta di voxel UNKNOWN, senza modelli geometrici degli oggetti d'ingombro.

Problema

I robot domestici devono trovare più oggetti su scaffali, sotto i tavoli e negli armadi con una vista della telecamera limitata, a tronco di piramide, e in presenza di occlusioni. La ricerca di oggetti basata su POMDP è rigorosa, ma i lavori precedenti riducevano lo spazio di ricerca o la mobilità del robot al 2D, perché il belief esatto su grandi spazi degli stati 3D è intrattabile e grandi spazi delle osservazioni danno ai pianificatori un alto fattore di ramificazione.

Soluzione proposta

Gli autori definiscono 3D-MOS, un POMDP orientato agli oggetti con pose della telecamera 6D, azioni MOVE, LOOK e FIND, e osservazioni costituite da voxel etichettati nel tronco di visione, fattorizzate per oggetto. Un modello di osservazione per voxel e un belief su octree danno aggiornamenti esatti del belief in O(|V| log |G|) e un campionamento a qualsiasi risoluzione in O(log |G|); i POMDP astratti a risoluzioni più grossolane sono risolti ciascuno da POUCT in parallelo e viene eseguita l'azione di valore più alto (MR-POUCT).

Idee chiave

Fattorizzare stato e osservazione per oggetto fa crescere lo spazio dei belief in modo lineare, e non esponenziale, con il numero di oggetti.
Modellare l'etichetta di ciascun voxel separatamente, con i voxel occlusi o fuori vista considerati non informativi, riduce lo spazio delle osservazioni per la pianificazione e limita gli aggiornamenti del belief ai voxel in vista.
Memorizzare i belief in un octree, in cui ogni nodo contiene la somma dei valori dei figli, fornisce belief esatti a ogni risoluzione e un campionamento in tempo logaritmico.
Pianificare a più risoluzioni in parallelo ed eseguire l'azione migliore permette di gestire dimensioni e distanze sconosciute degli oggetti a cui una singola risoluzione non si adatterebbe.
I belief a particelle (POMCP) soffrono di deprivazione delle particelle con grandi spazi delle osservazioni e degenerano in un comportamento casuale in questo dominio.

Risultati principali

In simulazione su 12 configurazioni (lato dello spazio di ricerca m ∈ {4, 8, 16, 32}, n ∈ {2, 4, 6} oggetti, 40 prove ciascuna), MR-POUCT ha superato la ricerca esaustiva (Exhaustive) in ricompensa cumulativa scontata in tutti i casi di test con m = 16 e m = 32.
La ricerca esaustiva è andata meglio negli spazi piccoli (m = 4 e 8), dove una vista copre fino al 17,2 % e all'8,8 % della griglia; con m = 32 una vista copre al massimo il 2,6 %.
Ogni metodo aveva al massimo 3,0 s di pianificazione per passo e da 120 s a 480 s in totale a seconda di m; POMCP ha dato scarsi risultati a causa della deprivazione delle particelle.
Con rumore di misura sull'istanza (16, 2, 10), MR-POUCT è stato costantemente il migliore in tutte le configurazioni provate, e β non ha avuto quasi alcun effetto finché β < 1. Il testo parla di 5 configurazioni di α ma elenca sei valori (10, 100, 500, 10³, 10⁴, 10⁵).
Su un Kinova MOVO, il robot ha trovato 3 oggetti su 6 posti a diverse altezze in due regioni di circa 10 m² × 2 m in circa 15 minuti, abbassando il torso quando serviva per vedere un obiettivo.
Usare k = 10 o k = 40 campioni Monte Carlo per il modello di osservazione astratto ha dato prestazioni di ricerca simili; è stato usato k = 10.

Limiti

Assumere gli oggetti indipendenti fa risparmiare calcolo ma può scartare dipendenze utili tra oggetti; la ricerca di oggetti correlati resta aperta (secondo gli autori).
Il modello di osservazione non ragiona sulla geometria degli oggetti, e si assume che ogni oggetto stia in un singolo voxel alla risoluzione di pianificazione (secondo gli autori).
È stata usata una policy di rollout casuale uniforme; gli autori suggeriscono un rollout euristico per problemi più realistici, a scapito dell'ottimalità.
Sul robot reale, gli oggetti non coperti da alcun punto di vista della mappa topologica non sono stati trovati; gli autori propongono una mappa più densa o destinazioni MOVE campionate.
Oggetti e ostacoli sono assunti statici, lo stato del robot è assunto osservabile, e negli spazi di ricerca piccoli la semplice ricerca esaustiva è andata meglio.

Impatto sul settore

Ha vinto l'IROS 2021 Best RoboCup Paper Award e ha 33 citazioni. L'articolo rimanda a una pagina del progetto con un video delle osservazioni volumetriche e degli aggiornamenti del belief sull'octree; non dichiara un rilascio del codice.

Abstract

I robot che operano nelle abitazioni devono trovare oggetti su scaffali, sotto i tavoli e negli armadi. In questi ambienti è fondamentale cercare in modo efficiente su scala 3D, gestendo al tempo stesso un campo visivo limitato e la complessità della ricerca di più oggetti. Gli approcci rigorosi alla ricerca di oggetti usano spesso il processo decisionale di Markov parzialmente osservabile (POMDP) come quadro di riferimento per calcolare le strategie di ricerca, ma limitano lo spazio di ricerca al 2D. In questo articolo presentiamo una formulazione POMDP per la ricerca di più oggetti in una regione 3D con un campo visivo a tronco di piramide (frustum). Per risolvere in modo efficiente questo POMDP, proponiamo un algoritmo di pianificazione multirisoluzione basato sulla ricerca ad albero Monte Carlo online. In questo approccio progettiamo una nuova rappresentazione del belief basata su octree per catturare l'incertezza sugli oggetti cercati a diversi livelli di risoluzione, quindi deriviamo POMDP astratti a risoluzioni più basse con spazi degli stati e delle osservazioni drasticamente più piccoli. La valutazione in un dominio 3D simulato mostra che il nostro approccio trova gli oggetti in modo più efficiente e con maggiore successo rispetto a un insieme di baseline senza gerarchia di risoluzione nelle istanze più grandi, a parità di requisiti computazionali. Dimostriamo il nostro approccio su un robot mobile che trova oggetti posti a diverse altezze in due regioni di 10m² × 2m muovendo la base e attuando il torso.

Link

arXiv 2005.02878: https://arxiv.org/abs/2005.02878
DOI 10.1109/IROS51168.2021.9636737: https://doi.org/10.1109/IROS51168.2021.9636737
PDF: https://arxiv.org/pdf/2005.02878v4
Pagina del progetto: https://zkytony.github.io/3D-MOS/