SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Autori: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

SORNet produce un embedding per ogni oggetto in un'immagine RGB a partire da una vista canonica di quell'oggetto; piccoli MLP di lettura trasformano gli embedding in precondizioni delle skill e direzioni 3D per oggetti mai visti.

Perché è importante

I predicati predetti alimentano un pianificatore simbolico di compiti e movimenti, quindi la stessa rete può servire nuovi compiti e nuovi oggetti senza riaddestramento né fine-tuning. Gli autori usano predicati predetti dall'immagine della telecamera di un robot reale per popolare lo stato di un pianificatore per l'esecuzione in anello aperto, e usano le predizioni di direzione per il visual servoing verso un oggetto bersaglio.

Problema

La manipolazione sequenziale deve sapere quali relazioni spaziali valgono tra gli oggetti, per esempio se la parte superiore di un blocco è libera, prima che un pianificatore possa scegliere la skill successiva. Gli stimatori espliciti dello stato sono difficili da generalizzare a insiemi arbitrari di oggetti, specialmente oggetti in contatto, e le reti end-to-end restano legate al compito su cui sono state addestrate: una rete addestrata a impilare blocchi non può semplicemente disimpilarli.

Soluzione proposta

SORNet è un Vision Transformer che riceve patch di contesto RGB della scena più viste canoniche degli oggetti di interesse come token di query, con l'attenzione mascherata in modo che le query leggano solo dalla scena, e produce un embedding per ogni oggetto interrogato. Reti di lettura MLP a due strati mappano embedding singoli o in coppia su predicati unari e binari o su direzioni 3D continue, con parametri indipendenti dal numero di oggetti; l'addestramento usa Leonardo, un nuovo dataset simulato di un Franka Panda che impila blocchi, etichettato con predicati reali (ground truth).

Idee chiave

• Il condizionamento su viste canoniche degli oggetti, che non devono necessariamente corrispondere all'aspetto dell'oggetto nella scena, permette al modello di individuare oggetti mai visti con variazioni di illuminazione, posa e occlusione senza riaddestramento.
• Mascherare l'attenzione tra i token di query e dalle patch di contesto verso le query rende le uscite equivarianti alle permutazioni, quindi in inferenza si può interrogare un numero qualsiasi di oggetti.
• Gli embedding addestrati solo con etichette di predicati logici contengono comunque informazione spaziale continua: un regressore su embedding congelati predice le direzioni 3D meglio di baseline addestrate con supervisione della posa.
• Le baseline senza condizionamento sull'oggetto falliscono zero-shot sugli oggetti mai visti e restano molto indietro anche dopo un fine-tuning 100-shot.
• Aggregare tre viste di telecamera aiuta con l'occlusione, e aggiungere lo stato della pinza migliora i predicati legati alla pinza, come has-object.

Risultati principali

• Accuratezza zero-shot sulle relazioni in CLEVR-CoGenT: 99,006 % su valA e 98,222 % su valB, contro 84,950 % / 59,627 % di MDETR e 97,944 % / 98,052 % di MDETR-oracle, che ha visto tutti gli oggetti in addestramento.
• Classificazione dei predicati su Leonardo con oggetti mai visti (52 predicati): SORNet M-View (G) raggiunge il 98,9 % di accuratezza, il 63,6 % di accuratezza a corrispondenza totale (all-match) e un F1 di 89,5; la migliore baseline 100-shot raggiunge 92,8 %, 4,1 % e 0,0.
• Scene con 5 e 6 oggetti (addestrato su 4): 98,5 % e 98,0 % di accuratezza, con la corrispondenza totale che scende al 45,5 % e al 29,7 % man mano che i predicati salgono a 70 e 102.
• 30 immagini di robot reali: 96,3 % di accuratezza, 26,7 % di accuratezza a corrispondenza totale, F1 di 76,5.
• Accuratezza di eseguibilità delle skill: 76,3 % per SORNet M-View (G) contro circa il 27 % delle baseline ResNet18 e ViT, che ottengono 0 % su grasp, align, place e lift.
• Regressione della direzione 3D relativa (errore euclideo su vettori unitari, 1000 esempi di addestramento): 0,1458 oggetto-oggetto e 0,1777 end-effector-oggetto per SORNet (preaddestrato, multi-vista), contro 0,4308 / 0,3251 di ResNet18 e 0,6145 / 0,4960 di CLIP-ViT preaddestrato.

Limiti

• Le reti di lettura gestiscono solo relazioni unarie e binarie; le relazioni che coinvolgono più di due oggetti sono lasciate a lavori futuri.
• Le relazioni spaziali sono predette da un singolo frame RGB; il ragionamento temporale non è affrontato.
• Sulle immagini reali il modello commette errori in situazioni mai viste in addestramento, come un blocco impilato tra due blocchi, e l'accuratezza a corrispondenza totale sulle 30 immagini reali è del 26,7 %.
• L'accuratezza a corrispondenza totale cala all'aumentare degli oggetti (29,7 % con 6 oggetti) perché il numero di predicati binari cresce in modo quadratico.
• I dati di addestramento coprono un solo compito, impilare 4 blocchi; la dimostrazione di pianificazione sul robot reale è eseguita in anello aperto ed è mostrata solo nel video supplementare.

Impatto sul settore

Finalista del CoRL 2021 Best System Paper Award, con 82 citazioni. L'articolo contribuisce con il dataset Leonardo di osservazioni RGB etichettate con predicati spaziali, e la pagina ufficiale del progetto rimanda al codice (github.com/wentaoyuan/sornet).

Abstract

I compiti di manipolazione sequenziale richiedono che un robot percepisca lo stato di un ambiente e pianifichi una sequenza di azioni che porti a uno stato obiettivo desiderato, dove la capacità di ragionare sulle relazioni spaziali tra entità oggetto a partire da input grezzi dei sensori è cruciale. I lavori precedenti basati sulla stima esplicita dello stato o sull'apprendimento end-to-end hanno difficoltà con oggetti nuovi o compiti nuovi. In questo lavoro proponiamo SORNet (Spatial Object-Centric Representation Network), che estrae rappresentazioni centrate sugli oggetti da immagini RGB condizionate a viste canoniche degli oggetti di interesse. Mostriamo che gli embedding degli oggetti appresi da SORNet generalizzano zero-shot a entità oggetto mai viste su tre compiti di ragionamento spaziale: classificazione delle relazioni spaziali, classificazione delle precondizioni delle skill e regressione della direzione relativa, superando in modo significativo le baseline. Presentiamo inoltre esperimenti robotici nel mondo reale che dimostrano l'uso degli embedding degli oggetti appresi nella pianificazione dei compiti per la manipolazione sequenziale.

Link

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• Codice: https://github.com/wentaoyuan/sornet
• Pagina del progetto: https://wentaoyuan.github.io/sornet