R3M: A Universal Visual Representation for Robot Manipulation

Autori: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

R3M preaddestra un encoder ResNet congelato su video e didascalie di Ego4D; il behavior cloning su di esso batte le feature di CLIP, MoCo e ImageNet in 12 compiti simulati e su un Franka reale con 20 dimostrazioni.

Perché è importante

L'encoder è rilasciato come pesi preaddestrati di ResNet18, ResNet34 e ResNet50 caricabili con una sola chiamata, quindi un team può addestrare policy di manipolazione basate su immagini da poche dimostrazioni senza raccogliere dati del dominio per la parte visiva. I compiti sul robot reale sono stati appresi nell'appartamento di uno studente di dottorato a partire da 20 dimostrazioni teleoperate ciascuno.

Problema

Addestrare end-to-end policy di manipolazione basate su immagini su dati del dominio di destinazione richiede molti dati e generalizza male. La robotica non dispone di un modello visivo preaddestrato, paragonabile alle feature di ImageNet o a BERT, che si possa scaricare e riutilizzare per qualsiasi compito di manipolazione, e i dataset robotici esistenti coprono un numero limitato di compiti in al massimo una manciata di ambienti.

Soluzione proposta

R3M addestra un encoder di immagini ResNet su Ego4D, oltre 3.500 ore di video umani egocentrici con annotazioni linguistiche, usando tre termini: una loss contrastiva temporale per cui frame vicini nel tempo hanno embedding vicini, una loss di allineamento video-linguaggio che valuta se il cambiamento dal primo frame di una clip a un frame successivo corrisponde alla sua didascalia, e penalità L1 e L2 per embedding sparsi e compatti. L'encoder viene poi congelato, e le policy a valle sono addestrate per behavior cloning come MLP a due strati sull'embedding dell'immagine concatenato con la propriocezione del robot.

Idee chiave

• I video umani quotidiani (Ego4D) sono dati di preaddestramento utilizzabili per le rappresentazioni visive dei robot, anche se l'embodiment è diverso da quello del robot.
• Tutti e tre i termini di addestramento contribuiscono; rimuovere l'allineamento video-linguaggio causa il calo maggiore, dal 62,4 % al 53,2 % in media sugli ambienti e dal 65,0 % al 45,6 % su Adroit.
• I soli dati non spiegano il guadagno: MoCo addestrato sugli stessi frame di Ego4D ottiene circa il 10 % in meno di R3M, e il modello MVP circa il 20 % in meno, su Franka Kitchen e Adroit.
• La penalità di sparsità aiuta su Franka Kitchen e MetaWorld, ma rimuoverla aiuta leggermente su Adroit, cosa che gli autori sospettano dipenda dal fatto che Adroit usa più dimostrazioni.
• Il vantaggio di R3M si mantiene per ogni punto di vista della telecamera e dimensione dell'insieme di dimostrazioni testati, mentre l'ordine tra CLIP e MoCo (345) cambia con il punto di vista.

Risultati principali

• Su 12 compiti simulati in MetaWorld, Franka Kitchen e Adroit, R3M raggiunge circa il 62 % di successo medio, oltre il 20 % in più rispetto all'addestramento da zero e oltre il 10 % in più rispetto alle feature di CLIP, ImageNet supervisionato e MoCo (345).
• R3M è il metodo migliore in tutti e 3 gli ambienti di simulazione e in 11 compiti su 12.
• Ablazione (Tabella 1, tutti i domini): R3M completo 62,4 %, senza augmentation tramite ritaglio 60,4 %, senza penalità L1 59,4 %, senza allineamento linguistico 53,2 %.
• Dati contro obiettivo (Tabella 2): Franka Kitchen 53,1 % per R3M, 42,0 % per MoCo addestrato su Ego4D, 27,0 % per MVP; Adroit 65,0 %, 54,9 % e 51,4 %.
• Franka Emika Panda reale, 20 dimostrazioni e 10 prove per compito: R3M ha una media del 56 % contro il 24 % di CLIP (chiudere un cassetto 80 % vs 70 %, mascherina nel comò 30 % vs 10 %, lattuga nella padella 60 % vs 0 %, spingere una tazza 70 % vs 40 %, piegare un asciugamano 40 % vs 0 %).

Limiti

• La valutazione è limitata all'apprendimento per imitazione, in particolare al behavior cloning con un piccolo numero di dimostrazioni; una buona rappresentazione preaddestrata per l'apprendimento per rinforzo potrebbe essere diversa da una per l'imitazione.
• R3M fornisce solo una rappresentazione dello stato a singolo frame; usarla, o usare il suo modulo di ancoraggio al linguaggio, per l'apprendimento della ricompensa o la specifica dei compiti è lasciato a lavori futuri.
• La baseline MoCo (345) è configurata in modo diverso da quella di Parisi et al. (propriocezione, impilamento dei frame), quindi i suoi numeri non sono direttamente confrontabili tra i due lavori.
• Il confronto sul robot reale copre solo R3M e CLIP, con 10 prove per compito.
• I tassi di successo in simulazione sono il miglior valore raggiunto nelle valutazioni effettuate ogni 1.000 passi di addestramento, mediato su seed, punti di vista e dimensioni dell'insieme di dimostrazioni.

Impatto sul settore

Citato 541 volte. Gli autori rilasciano modelli R3M preaddestrati con backbone ResNet18, ResNet34 e ResNet50 insieme al codice di addestramento.

Abstract

Studiamo come rappresentazioni visive preaddestrate su dati video umani diversificati possano consentire un apprendimento efficiente in termini di dati di compiti di manipolazione robotica a valle. In concreto, preaddestriamo una rappresentazione visiva usando il dataset di video umani Ego4D con una combinazione di apprendimento contrastivo temporale, allineamento video-linguaggio e una penalità L1 per favorire rappresentazioni sparse e compatte. La rappresentazione risultante, R3M, può essere usata come modulo di percezione congelato per l'apprendimento di policy a valle. Su una serie di 12 compiti di manipolazione robotica simulati, troviamo che R3M migliora il successo nei compiti di oltre il 20 % rispetto all'addestramento da zero e di oltre il 10 % rispetto a rappresentazioni visive allo stato dell'arte come CLIP e MoCo. Inoltre, R3M consente a un braccio Franka Emika Panda di imparare una serie di compiti di manipolazione in un appartamento reale e disordinato con sole 20 dimostrazioni.

Link

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• Codice: https://github.com/facebookresearch/r3m
• Pagina del progetto: https://sites.google.com/view/robot-r3m