Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

Autori: Andrei Haidu, Michael Beetz · ICRA 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Le persone svolgono compiti di cucina in un mondo VR con simulazione fisica; monitor online suddividono le loro azioni in eventi di raggiungimento, presa, trasporto e deposito memorizzati in KnowRob perché i robot possano interrogarli.

Perché è importante

Le dimostrazioni escono già segmentate e annotate in un'ontologia condivisa dal robot, comprese le parti del corpo virtuale, quindi non serve un'etichettatura manuale. Gli episodi possono essere riprodotti e interrogati per tipo di azione, tipo di oggetto e relazioni tra parti, per esempio tutte le prese su maniglie che appartengono alla porta di un frigorifero.

Problema

I robot che imparano la manipolazione spesso hanno bisogno di più esperienza di quanta se ne possa fornire con uno sforzo ragionevole, quindi ogni dimostrazione dovrebbe portare più informazioni strutturate. Il precedente sistema AMEvA degli autori tracciava solo testa e mani, permetteva agli utenti di raggiungere punti che sarebbero impossibili nella realtà, non poteva usare altre parti del corpo come gomiti o piedi e dava rappresentazioni delle azioni grossolane.

Soluzione proposta

Gli utenti agiscono in un ambiente Unreal Engine 4 simulato con NVIDIA PhysX, con tracciamento del corpo intero e dello sguardo; le mani sono mosse da regolatori PID 3D, così gli oggetti pesanti tirano indietro o scivolano, e le prese risultano dalla fisica usando stili di presa predefiniti. Un registratore subsimbolico memorizza in MongoDB gli stati del mondo e lo sguardo fotogramma per fotogramma, mentre monitor online con matrici di sensori di contatto sulle mani e grammatiche registrano in KnowRob, come eventi OWL, i sottomovimenti di presa, contatto, supported-by e pick-and-place.

Idee chiave

Muovere le mani virtuali tramite regolatori PID invece che con una mappatura diretta rende rilevante il peso degli oggetti, il che induce strategie del mondo reale come sollevare con due mani.
Matrici di sensori di contatto su dita, pollice e palmo distinguono una presa vera da un semplice contatto: una presa richiede il contatto di almeno due gruppi diversi.
Le fasi di movimento senza caratteristiche chiare di inizio o fine (inizio del raggiungimento, fine del prelievo, inizio del deposito) possono essere delimitate con regioni di interesse e backtracking sul movimento degli oggetti memorizzato in cache.
La relazione supported-by viene rilevata come contatto con velocità verticale relativa quasi nulla, così un oggetto trasportato su un vassoio conta ancora come sostenuto da esso.
I monitor di eventi seguono lo stato di riposo (sleep) del motore fisico e si disattivano per gli oggetti fermi, il che secondo gli autori consente al sistema di scalare a migliaia di oggetti in tempo reale.

Risultati principali

L'articolo non riporta alcuna valutazione quantitativa di accuratezza o di tempi; i suoi risultati sono dimostrazioni qualitative e query di esempio.
Un piatto pieno sollevato con una presa laterale a una mano ruota e sfugge dalla mano a causa del peso, mentre una presa a due mani lo solleva con successo.
Le azioni di pick-and-place vengono segmentate online nelle fasi di raggiungimento, fissazione, scorrimento o prelievo, trasporto e deposito, mostrate in Fig. 5 (a)–(j).
Le query a KnowRob recuperano e riproducono azioni di scorrimento su una scatola di cereali, prese su maniglie che fanno parte della porta di un frigorifero e azioni di pick-and-place composte da sotto-azioni.
Le collezioni MongoDB di ciascun episodio vengono indicizzate come B-tree al termine dell'episodio, con un tempo di ricerca O(log n).

Limiti

Il tracciamento del corpo intero è unidirezionale: l'avatar può spingere gli oggetti ma non riceve alcun feedback, quindi un utente può attraversare pareti o mobili e destabilizzare la simulazione (secondo gli autori).
L'inizio del raggiungimento e la fine del prelievo non hanno caratteristiche distintive e sono approssimati con regioni di interesse (secondo gli autori).
Il rilevatore di prese non distingue il contesto della presa, come trasportare un oggetto rispetto a tenere la maniglia di un cassetto o un mobile inamovibile (secondo gli autori).
Lo sguardo viene registrato ma non è ancora usato per raffinare il rilevamento delle azioni, e il grande dataset pubblico resta un lavoro futuro (secondo gli autori).
Non sono riportati esperimenti con robot né una valutazione quantitativa del rilevamento degli eventi.

Impatto sul settore

È stato finalista dell'IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI) e ha 11 citazioni. L'articolo non dichiara un rilascio di codice o dati; indica come lavoro futuro la pubblicazione di un grande dataset tramite openEASE.

Abstract

In questo articolo presentiamo un sistema in grado di raccogliere e annotare, da ambienti virtuali, attività quotidiane svolte da esseri umani e comprensibili ai robot. I movimenti umani vengono riportati nel mondo simulato usando dispositivi di realtà virtuale disponibili in commercio con capacità di tracciamento del corpo intero e degli occhi. Tutte le interazioni nel mondo virtuale sono simulate fisicamente, quindi i movimenti e i loro effetti sono strettamente riconducibili al mondo reale. Durante l'esecuzione dell'attività, un registratore di dati subsimbolico registra l'ambiente e lo sguardo umano fotogramma per fotogramma, consentendo la ricostruzione della scena e la riproduzione offline. Accoppiati al motore fisico, monitor online (registratori di dati simbolici) analizzano (usando varie grammatiche) e registrano eventi, azioni e i loro effetti nel mondo simulato.

Link

arXiv 2011.13689: https://arxiv.org/abs/2011.13689
DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
PDF: https://arxiv.org/pdf/2011.13689v1