Open-Vocabulary Affordance Detection in 3D Point Clouds

Autori: Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, Anh Nguyen · IROS 2023

Licenze

• Open access
• Articolo: CC0 1.0 Universal

Tutto ciò che segue si basa sull'articolo completo, che gli autori hanno rilasciato sotto CC0 1.0 Universal; la figura è riportata citando gli autori.

In breve

Associa le feature per punto di PointNet++ agli embedding testuali congelati di CLIP, così un robot può interrogare una nuvola di punti con qualsiasi parola di affordance, anche quelle assenti dall'addestramento.

Perché è importante

Si può dire a un robot, a parole semplici, su quale parte di un oggetto agire e ottenere una regione 3D da passare direttamente al rilevamento delle prese, alla cinematica inversa e alla pianificazione della traiettoria, senza riaddestrare per ogni nuovo verbo. L'inferenza richiede circa 100 ms, e gli autori la eseguono su un KUKA LBR iiwa con una RealSense D435i e una pinza Robotiq 2F-85.

Problema

I rilevatori di affordance esistenti, su immagini o nuvole di punti, vengono addestrati su un insieme fisso di etichette di affordance, quindi un robot non può chiederne una nuova senza nuove annotazioni. I rilevatori basati su immagini richiedono inoltre un passaggio aggiuntivo per portare i risultati 2D in 3D, e i precedenti metodi di affordance one-shot o few-shot richiedono comunque esempi annotati e funzionano solo su immagini 2D.

Soluzione proposta

OpenAD usa un backbone PointNet++ per produrre un embedding a 512 dimensioni per ciascuno dei 2048 punti in ingresso e codifica ogni etichetta di affordance con l'encoder testuale congelato di CLIP ViT-B/32. La similarità del coseno tra ogni embedding di punto e ogni embedding di etichetta, scalata da una temperatura apprendibile, fornisce un softmax per punto sulle etichette fornite; l'addestramento usa una loss di log-verosimiglianza negativa pesata per classe. In inferenza si può passare qualsiasi testo come etichetta.

Idee chiave

• Allineare le feature dei punti agli embedding testuali di un modello linguistico fa sì che etichette mai viste ma semanticamente correlate finiscano sulle regioni giuste senza un solo esempio annotato
• La scelta dell'encoder testuale conta per i risultati a vocabolario aperto: CLIP ViT-B/32 ha battuto BERT in mIoU con entrambi i backbone, mentre i risultati a insieme chiuso sono stati pressoché uguali
• Aggiungere la testa guidata dal linguaggio non costa accuratezza a insieme chiuso: OpenAD resta entro una frazione di punto dalle reti dedicate alla segmentazione di nuvole di punti
• Poiché ogni punto prende l'etichetta migliore dall'insieme di etichette corrente, aggiungere un'etichetta più specifica (ad es. 'grasp' dopo 'contain') rietichetta i punti rilevanti

Risultati principali

• Zero-shot, forma completa (3D AffordanceNet rietichettato a 37 classi): mIoU 14,37 contro 9,97 di ZSLPC, 6,46 di 3DGenZ e 3,86 di TZSLPC; Acc 46,31 e mAcc 19,51, entrambi i più alti
• Zero-shot, vista parziale: mIoU 12,50 contro 9,52 di ZSLPC. Il testo dichiara un margine del 3,98 %, mentre i numeri della Tabella I danno 2,98 punti; anche Acc 45,25 e mAcc 17,37 sono i più alti
• 3D AffordanceNet a insieme chiuso (Tabella II), forma completa: mIoU 42,00 contro 42,09 di DGCNN, 41,26 di PointNet++ e 41,26 di Point Transformer; Acc più alta, con 69,03
• Insieme chiuso, vista parziale: mIoU 41,87 contro 41,93 di DGCNN, 41,10 di PointNet++ e 40,51 di Point Transformer; Acc più alta, con 69,91
• Ablazione (vocabolario aperto, forma completa): PointNet++ con CLIP 14,37 mIoU contro 10,55 con BERT; DGCNN con CLIP 10,88 contro 9,43 con BERT
• L'inferenza richiede in media circa 100 ms; le dimostrazioni su robot reale includono afferrare e sollevare una borsa, avvolgere una bottiglia e spingere un auricolare

Limiti

• Gli autori affermano che il metodo è ancora lontano dal rilevare affordance completamente mai viste e mostrano casi di fallimento su oggetti visti
• Gli autori mostrano falsi positivi in cui OpenAD trova affordance che l'oggetto non offre (display su una borsa, support su un forno a microonde, openable su un cappello)
• I punteggi zero-shot assoluti restano bassi (mIoU 14,37 a forma completa, 12,50 a vista parziale), e gli autori chiedono una migliore correlazione tra visione e linguaggio (ad es. cross-attention), backbone più potenti e un dataset di affordance più ampio
• Gli esperimenti su robot reale sono dimostrazioni senza tassi di successo riportati
• L'ingresso è un singolo oggetto segmentato campionato a 2048 punti; la pipeline del robot si basa su un passaggio separato di localizzazione dell'oggetto

Impatto sul settore

Inserito nella lista congiunta dei finalisti di IROS 2023 per i premi Best Overall Paper e Best Student Paper, con 66 citazioni. L'articolo afferma che gli autori rilasceranno il codice sorgente; la copia con licenza non fornisce alcun link.

Abstract

Il rilevamento delle affordance è un problema impegnativo con un'ampia varietà di applicazioni robotiche. I metodi tradizionali di rilevamento delle affordance sono limitati a un insieme predefinito di etichette di affordance, il che può restringere l'adattabilità dei robot intelligenti in ambienti complessi e dinamici. In questo articolo presentiamo il metodo Open-Vocabulary Affordance Detection (OpenAD), in grado di rilevare un numero illimitato di affordance in nuvole di punti 3D. Apprendendo simultaneamente il testo dell'affordance e la feature del punto, OpenAD sfrutta con successo le relazioni semantiche tra affordance. Di conseguenza, il metodo proposto consente il rilevamento zero-shot e può rilevare affordance mai viste prima senza un solo esempio annotato. Ampi risultati sperimentali mostrano che OpenAD funziona efficacemente in un'ampia gamma di configurazioni di rilevamento delle affordance e supera le altre baseline con un ampio margine. Inoltre, dimostriamo la praticità di OpenAD in applicazioni robotiche reali con una velocità di inferenza elevata (≈100 ms).

Link

• arXiv 2303.02401: https://arxiv.org/abs/2303.02401
• DOI 10.1109/IROS55552.2023.10341553: https://doi.org/10.1109/IROS55552.2023.10341553
• PDF: https://arxiv.org/pdf/2303.02401v1