Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

Autori: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

LIRF addestra una seconda policy che agisce su un risultato (tira una porta, spinge una torre, ruota una valvola) per distinguere il successo dal fallimento, e usa il suo verdetto come ricompensa per la policy del compito.

Perché è importante

La specifica del compito richiede ancora solo esempi di successo, senza dimostrazioni, ricompense progettate o sensori aggiuntivi, eppure funziona quando il successo non è visibile. Le verifiche apprese possono anche essere riutilizzate in fase di impiego per individuare esecuzioni incomplete e permettere alla policy del compito di riprovare.

Problema

I metodi di ricompensa basati su esempi specificano un compito con immagini di risultati riusciti, ma molti risultati non possono essere giudicati da un'immagine passiva: un tappo di bottiglia allentato sembra uguale a uno serrato, e il chiavistello di una porta può essere nascosto dietro la porta. Questo aliasing degli stati fa fallire i classificatori di successo basati su immagini nei compiti parzialmente osservabili.

Soluzione proposta

Al robot vengono forniti esempi fisici 'azionabili' di successo, e una policy di funzione di ricompensa interattiva (IRF) viene addestrata con SAC ad agire su di essi e sui risultati falliti prodotti da una policy iniziale del compito addestrata con VICE, in modo che in seguito un classificatore a singola osservazione possa distinguerli. Il verdetto della IRF diventa la ricompensa terminale per addestrare la policy finale del compito, e la stessa IRF può essere eseguita dopo l'esecuzione in un ciclo esegui-verifica finché non giudica il compito completato.

Idee chiave

L'interazione può rivelare un successo nascosto del compito: le IRFs apprese tirano la porta, spingono il blocco inferiore della torre o applicano una piccola coppia in senso antiorario alla valvola.
I classificatori su singole osservazioni soffrono di aliasing degli stati, motivo per cui VICE e GAIfO danno risultati scarsi in questi compiti parzialmente osservabili.
Un classificatore applicato a un'osservazione dopo l'interazione basta per etichettare il risultato; non serve un classificatore sull'intera traiettoria della IRF.
La IRF non usa informazioni privilegiate, quindi dopo l'addestramento può fungere da verificatore nel ciclo.
Una IRF appresa è risultata competitiva con le verifiche interattive codificate a mano (Manual IRF) o migliore di esse.

Risultati principali

Successo nel compito per LIRF / LIRF+Verify (Tabella 1): chiusura della porta 0,640 / 0,958, impilamento di blocchi 0,846 / 0,884, avvitamento con robot reale 0,82 / 0,99.
VICE raggiunge 0,032, 0,310 e 0,02 negli stessi tre compiti, e GAIfO 0,112, 0,275 e 0,0.
La ricompensa basata sullo stato reale dà 0,714 (porta), 0,956 (blocchi) e 0,87 (avvitamento): LIRF+Verify la supera nella chiusura della porta e nell'avvitamento ma non nell'impilamento dei blocchi, anche se il testo afferma che LIRF+Verify supera tutte le baseline.
Accuratezza della IRF nella classificazione del successo: 0,992 ± 0,006 per la chiusura della porta, 0,852 ± 0,023 per l'impilamento dei blocchi e 0,98 per l'avvitamento (Tabella 2).
Esempi positivi azionabili necessari: 1 per l'avvitamento, 110 per la chiusura della porta e 7k per l'impilamento dei blocchi.
L'addestramento ha richiesto circa 2M passi di simulazione per le policy LIRF di chiusura della porta e di impilamento, 50k passi (circa 10 ore sul robot reale) per l'avvitamento e circa 20k passi per ciascuna policy IRF.

Limiti

LIRF aiuta soprattutto quando le policy del compito addestrate con ricompense da singola immagine falliscono nella maggior parte dei casi; in contesti completamente osservabili le IRFs danno un beneficio marginale o nullo (secondo gli autori).
Gli esempi positivi devono essere conservati fisicamente e presentati al robot; ciò è facile per l'avvitamento (1 esempio) ma scomodo per l'impilamento dei blocchi (7k) (secondo gli autori).
In entrambi i compiti simulati le osservazioni 'imitano una visione perfetta' (pose dell'oggetto e del robot) anziché immagini da telecamera.
La prova con robot reale è un unico compito di rotazione di una valvola, con il bloccaggio della vite imitato da un motore sotto la valvola.

Impatto sul settore

Vincitore del premio per il miglior articolo di CoRL 2022 (Best Paper Award), con 6 citazioni. L'articolo afferma che tutto il codice e gli ambienti saranno rilasciati, e la pagina ufficiale del progetto rimanda a un repository di codice pubblico.

Abstract

Le interazioni fisiche possono spesso aiutare a rivelare informazioni non immediatamente evidenti. Per esempio, possiamo tirare la gamba di un tavolo per valutare se è ben costruito, o capovolgere una bottiglia d'acqua per verificare che sia a tenuta stagna. Proponiamo di addestrare i robot ad acquisire automaticamente tali comportamenti interattivi, allo scopo di valutare il risultato di un tentativo di esecuzione di un'abilità robotica. Queste valutazioni servono a loro volta come "funzioni di ricompensa interattive" (IRFs) per addestrare policy di apprendimento per rinforzo a eseguire l'abilità obiettivo, come avvitare saldamente la gamba del tavolo. Inoltre, anche dopo che le policy del compito sono completamente addestrate, le IRFs possono servire come meccanismi di verifica che migliorano l'esecuzione online del compito. Per qualsiasi compito, le nostre IRFs possono essere addestrate comodamente usando solo esempi di risultati riusciti, e in seguito non serve alcuna ulteriore specifica per addestrare la policy del compito. Nelle nostre valutazioni sulla chiusura a chiave di una porta e sull'impilamento di blocchi zavorrati in simulazione, e sul serraggio di una vite su un robot reale, le IRFs consentono grandi miglioramenti delle prestazioni, superando persino baseline con accesso a dimostrazioni o a ricompense progettate con cura. Sito web del progetto: https://sites.google.com/view/lirf-corl-2022/

Link

arXiv 2212.08961: https://arxiv.org/abs/2212.08961
DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
Codice: https://github.com/penn-pal-lab/lirf_public
Pagina del progetto: https://sites.google.com/view/lirf-corl-2022/