Learning to Share Autonomy across Repeated Interaction

Autori: Ananth Jonnavittula, Dylan P. Losey · IROS 2021

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Autonomia condivisa senza un elenco di obiettivi predefinito: il robot impara i compiti dalla teleoperazione ripetuta, li riconosce dall'input del joystick, imita le esecuzioni passate e restituisce il controllo quando non è sicuro.

Perché è importante

Gli utenti di bracci assistivi ripetono gli stessi compiti quotidiani, quindi un braccio che impara da quelle ripetizioni può ridurre lo sforzo di teleoperazione senza che nessuno programmi un elenco di obiettivi. La restituzione del controllo basata su un discriminatore evita lo stallo osservato con i metodi di inferenza dell'obiettivo, in cui il robot si oppone a un utente diretto verso un obiettivo sconosciuto.

Problema

I metodi di autonomia condivisa per bracci assistivi richiedono conoscenza a priori, come l'insieme degli obiettivi che l'utente potrebbe raggiungere o la ricompensa che l'utente ottimizza. Quando l'utente tenta un compito al di fuori di quell'insieme, come aprire un frigorifero di cui il robot non è mai stato informato, il robot non può aiutare e può persino spingere verso l'obiettivo noto sbagliato.

Soluzione proposta

Il robot memorizza ogni interazione teleoperata e addestra un encoder che mappa gli stati attuali e i comandi col joystick dell'utente in un compito latente, e una policy decoder che produce velocità dei giunti assistive replicando il comportamento passato dell'utente per quel compito. Un discriminatore separato, addestrato a distinguere le interazioni già viste da loro deformazioni rumorose, valuta quanto sia familiare l'interazione corrente, e quel punteggio stabilisce la miscela β tra le azioni del robot e quelle dell'essere umano. I modelli vengono riaddestrati tra un'interazione e l'altra, così i nuovi compiti vengono appresi in modo continuo.

Idee chiave

La ripetizione nella vita quotidiana è ciò che rende possibile imparare ad assistere; al robot non va mai detto quale compito vuole l'utente.
Codificare l'interazione in un compito latente prima di scegliere un'azione ha migliorato il raggiungimento dell'obiettivo rispetto al behavior cloning (DAgger) condizionato direttamente sull'interazione.
Un discriminatore di familiarità separato ha dato una fiducia più stabile su un compito noto rispetto all'incertezza autovalutata di DropoutDAgger, che restituiva il controllo per deviazioni minime.
Usare come ingresso dell'encoder solo i comandi dell'essere umano, e non l'azione combinata, evita cicli di retroazione in cui il robot si convince dell'obiettivo con le proprie azioni.
L'inferenza bayesiana dell'obiettivo su un insieme fisso di obiettivi può andare in stallo su un compito sconosciuto, come mostra l'appendice quando l'utente apre un cassetto e il robot tira verso un blocco note vicino.

Risultati principali

Nello studio di ablazione sul raggiungimento con tre obiettivi e 3 o 5 dimostrazioni di addestramento, in cui l'utente guidava solo i primi 0,5 s, l'approccio basato sull'encoder ha raggiunto l'obiettivo con un errore sullo stato finale inferiore a DAgger a parità di dati.
Con cinque ripetizioni precedenti di un'abilità di sollevamento di un bicchiere, l'approccio è rimasto fiducioso per tutto il tempo, mentre DropoutDAgger ha fornito assistenza di rado.
Addestrato su cinque ripetizioni di un'abilità con un cassetto, l'approccio ha ridotto lo sforzo umano nel compito del cassetto a tutti i livelli di rumore testati e non ha richiesto più sforzo di No Assist in un compito non visto di raggiungimento di una lattina.
In uno studio con 10 partecipanti, lo sforzo umano per raggiungere due obiettivi noti non è risultato significativamente diverso tra l'approccio e un metodo di riferimento bayesiano di autonomia condivisa.
Quando i partecipanti hanno svolto due nuovi compiti 9 volte ciascuno con riaddestramento ogni tre prove, il robot ha riconosciuto l'abilità del cassetto e ha fornito assistenza dopo l'addestramento su 6 dimostrazioni; un modello addestrato su tutti i compiti ha assistito negli obiettivi originali più o meno quanto i modelli specifici per compito.
Gli autori affermano che il metodo apprende da un numero praticabile di interazioni (meno di 10).

Limiti

L'approccio non modella esplicitamente il co-adattamento: man mano che gli utenti si fidano del robot possono cambiare il modo in cui lo teleoperano, per esempio smettendo del tutto di usare il joystick.
Lo studio con utenti ha avuto 10 partecipanti di una comunità universitaria, non utenti che vivono con disabilità fisiche.
Gli esperimenti hanno usato un braccio fisso a 7 DoF in un ambiente domestico semplificato, non un braccio montato su sedia a rotelle.
Gli esperimenti in simulazione usano operatori simulati con rumore gaussiano sui comandi anziché utenti reali.

Impatto sul settore

L'articolo è stato finalista dell'IROS 2021 Best RoboCup Paper Award e ha 16 citazioni. Fornisce il link a un video degli esperimenti; non indica un rilascio di codice o dati.

Abstract

I bracci robotici montati su sedia a rotelle (e altri robot assistivi) dovrebbero aiutare i loro utenti a svolgere i compiti quotidiani. Un modo in cui i robot possono fornire questa assistenza è l'autonomia condivisa. Nell'autonomia condivisa, sia l'essere umano sia il robot mantengono il controllo sul movimento del robot: man mano che il robot acquisisce fiducia di aver capito ciò che l'essere umano vuole, interviene sempre di più per automatizzare il compito. Ma come fa il robot a sapere, in primo luogo, quali compiti l'essere umano potrebbe voler svolgere? Gli approcci attuali all'autonomia condivisa si basano spesso su conoscenza a priori: per esempio, il robot deve conoscere a priori l'insieme dei possibili obiettivi umani. Nel lungo periodo, tuttavia, questa conoscenza a priori verrà inevitabilmente meno: prima o poi l'essere umano cercherà di raggiungere un obiettivo che il robot non si aspettava. In questo articolo proponiamo un approccio di apprendimento all'autonomia condivisa che sfrutta le interazioni ripetute. Imparare ad assistere gli esseri umani sarebbe impossibile se svolgessero compiti completamente diversi a ogni interazione: la nostra intuizione è però che gli utenti che vivono con disabilità fisiche ripetono compiti importanti ogni giorno (ad es. aprire il frigorifero, preparare il caffè e cenare). Presentiamo un algoritmo che sfrutta queste interazioni ripetute per riconoscere il compito dell'essere umano, replicare dimostrazioni simili e restituire il controllo quando non è sicuro. Man mano che l'essere umano lavora ripetutamente con questo robot, il nostro approccio impara continuamente ad assistere in compiti che non sono mai stati specificati in anticipo: questi compiti comprendono sia obiettivi discreti (ad es. raggiungere una tazza) sia abilità continue (ad es. aprire un cassetto). In simulazioni e in uno studio con utenti in presenza, dimostriamo che i robot che usano il nostro approccio eguagliano i metodi di autonomia condivisa esistenti per gli obiettivi noti e superano i metodi di riferimento di apprendimento per imitazione nei compiti nuovi. Vedi i video qui: https://youtu.be/NazeLVbQ2og

Link

arXiv 2107.09650: https://arxiv.org/abs/2107.09650
DOI 10.1109/IROS51168.2021.9636748: https://doi.org/10.1109/IROS51168.2021.9636748
PDF: https://arxiv.org/pdf/2107.09650v1