Learning from Physical Human Feedback: An Object-Centric One-Shot Adaptation Method

Autori: Alvin Shek, Rui Chen, Changliu Liu · ICRA 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

OPA pre-addestra una policy a rete di grafi su traiettorie sintetiche di raggiungimento ed evitamento, poi si adatta a una sola correzione umana aggiornando solo piccole feature di preferenza per oggetto, in meno di 0,5 s.

Perché è importante

Separare la dinamica di interazione fissa dalle preferenze specifiche degli oggetti permette a una sola correzione di cambiare il comportamento verso un oggetto senza riaddestrare la policy. Lo spazio latente compatto può esprimere comportamenti assenti nel pre-addestramento, come orientamenti relativi arbitrari in SO(3), e il pre-addestramento non richiede dimostrazioni umane perché i dati sono sintetici.

Problema

I robot devono cambiare comportamento quando una persona li corregge a metà di un compito, per esempio quando una fabbrica aggiunge una nuova fase di scansione. I metodi online esistenti richiedono episodi di interazione ripetuti oppure modellano le preferenze umane come pesi su un insieme fisso di feature di ricompensa scelte a mano, il che limita ciò che si può apprendere e si trasferisce male a compiti nuovi.

Soluzione proposta

OPA rappresenta la scena come un grafo con il robot e gli oggetti come nodi e archi da ciascun oggetto al robot. Reti di relazioni condivise per posizione e orientamento ricevono feature di stato relativo progettate a mano più una piccola feature di preferenza appresa per ogni oggetto (1-D per la posizione; un latente 1-D più un offset rotazionale in quaternione per l'orientamento), e un aggregatore somma e normalizza le loro uscite in un'azione. La policy è pre-addestrata su traiettorie sintetiche Elastic Band; dopo una perturbazione umana, vengono aggiornate solo le feature per oggetto con pochi passi di gradiente su un rollout immaginato, mentre i pesi della rete condivisa restano congelati.

Idee chiave

Trattare le feature di preferenza per oggetto come pesi addestrabili confina l'adattamento in uno spazio latente compatto: sono bastati 5 aggiornamenti del gradiente per la posizione e 20 per l'orientamento.
Il pre-addestramento copriva solo quattro classi di interazione (avvicinarsi o allontanarsi; ignorare l'orientamento di un oggetto o allinearvisi con un offset fisso), eppure l'adattamento ha prodotto comportamenti nuovi, come orientamenti 3D arbitrari rispetto a un oggetto.
La struttura del modello ha reso interpretabili i pesi appresi: gli offset rotazionali 2D appresi sono convergiti agli offset reali durante l'addestramento.
A differenza dei metodi a campi di potenziale, la rete di relazioni non è costretta a produrre forze parallele al vettore robot–oggetto, il che evita il fallimento quando un ostacolo si trova nella stessa direzione dell'obiettivo.
Inizializzare le feature di posizione degli oggetti di repulsione, attrazione e obiettivo a 1,0; 0,5 e 0,0 ha fatto sì che l'interpolazione tra feature desse un comportamento interpolato, così i nuovi oggetti possono partire come «ignora» nel punto intermedio.

Risultati principali

Studio con utenti con 10 studenti della CMU su tre compiti simulati con manipolatore, applicando perturbazioni con i tasti del computer.
Compito 1 (trasportare una tazza fragile tenendola bassa sopra il tavolo): gli utenti hanno giudicato che OPA comprendeva meglio le loro preferenze, richiedeva meno sforzo ed era leggermente più prevedibile di una baseline che passa alla compensazione della gravità durante la perturbazione.
Compito 2 (presentare una padella con un orientamento scelto): errore medio di orientamento di 0,2576 rad, il 16 % del massimo possibile di π/2; quartili di soddisfazione 3,5 / 4,0 / 4,0 su una scala a cinque punti.
Compito 3 (aggiungere una fase di scansione del codice a barre prima del contenitore): quartili di «ha capito le mie intenzioni» 4,0 / 4,0 / 5,0 su una scala a cinque punti.
L'adattamento online richiede in totale meno di 0,5 s; il pre-addestramento di ciascuna rete richiede 12 minuti per 100 epoche sulla GPU di un portatile, dopo 4 minuti per generare 3000 traiettorie sintetiche con 9 processi paralleli.

Limiti

Gli autori affermano che OPA si basa su azioni centrate sugli oggetti formulate come raggiungimento ed evitamento; la presa e l'applicazione di forza (per esempio pulire una superficie) non sono gestite.
Presuppone che ogni oggetto possa essere rilevato, identificato in modo univoco e che se ne possa estrarre la posa 6D; gli ambienti non strutturati sono lasciati a lavori futuri.
I risultati sono sensibili al learning rate dell'adattamento e al numero di passi di gradiente: nel Compito 1 due utenti hanno visto il robot indugiare vicino al tavolo o ignorare l'obiettivo, e nel Compito 3 due hanno detto che la ciotola avrebbe dovuto avvicinarsi di più allo scanner.
Non sono coperti obiettivi centrati sul compito che non sono relativi a un oggetto, come il disegno.
Lo studio con utenti ha usato un manipolatore simulato perturbato con i tasti della tastiera, non il contatto fisico con un robot reale.

Impatto sul settore

Vincitore dell'ICRA 2023 Outstanding Physical Human-Robot Interaction Paper award, con 7 citazioni. L'articolo rimanda a video, codice e materiale supplementare; la pagina ufficiale del progetto punta al repository del codice.

Abstract

Affinché i robot possano essere impiegati efficacemente in ambienti e compiti nuovi, devono essere in grado di comprendere il feedback espresso dagli esseri umani durante un intervento. Questo può correggere un comportamento indesiderato oppure indicare preferenze aggiuntive. I metodi esistenti richiedono episodi di interazione ripetuti oppure presuppongono feature di ricompensa note a priori, il che è inefficiente in termini di dati e difficilmente trasferibile a compiti nuovi. Allentiamo questi presupposti descrivendo i compiti umani in termini di sotto-compiti centrati sugli oggetti e interpretando gli interventi fisici in relazione a oggetti specifici. Il nostro metodo, Object Preference Adaptation (OPA), è composto da due fasi chiave: 1) il pre-addestramento di una policy di base per produrre un'ampia varietà di comportamenti e 2) l'aggiornamento online solo di determinati pesi del modello in base al feedback umano. La chiave del nostro adattamento, rapido ma semplice, è che la dinamica di interazione generale tra agenti e oggetti resta fissa e vengono aggiornate solo le preferenze specifiche degli oggetti. Il nostro adattamento avviene online, richiede un solo intervento umano (one-shot) e produce comportamenti nuovi mai visti durante l'addestramento. Addestrata su dati sintetici economici anziché su costose dimostrazioni umane, la nostra policy mostra un adattamento notevole alle perturbazioni umane in compiti impegnativi e realistici nel nostro studio con utenti. Video, codice e materiale supplementare: https://alvinosaur.github.io/AboutMe/projects/opa.

Link

arXiv 2203.04951: https://arxiv.org/abs/2203.04951
DOI 10.1109/ICRA48891.2023.10161416: https://doi.org/10.1109/ICRA48891.2023.10161416
PDF: https://arxiv.org/pdf/2203.04951v1
Codice: https://github.com/Alvinosaur/opa
Pagina del progetto: https://alvinosaur.github.io/AboutMe/projects/opa