Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

Autori: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

UVD trova i sotto-obiettivi nei video dimostrativi dove le distanze tra embedding visivi pre-addestrati smettono di diminuire, poi li usa per l'apprendimento per imitazione condizionato all'obiettivo e per il reward shaping.

Perché è importante

UVD richiede solo dimostrazioni video e un encoder già disponibile, e la fase di scomposizione aggiunge meno di 0,1 s per traiettoria all'addestramento standard delle policy. I sotto-obiettivi trovati in questo modo permettono a una policy addestrata su alcuni ordini di task di eseguire ordini mai visti degli stessi sotto-task, riducendo la necessità di raccogliere dimostrazioni per ogni sequenza di task.

Problema

La manipolazione a lungo orizzonte soffre di errori che si accumulano, di ampi spazi di osservazione e di azione e di segnali di apprendimento deboli, per cui i task vengono di solito divisi in sotto-task. I metodi di scomposizione esistenti richiedono conoscenze specifiche del task, come la propriocezione o una struttura nota dei sotto-task, oppure modelli generativi computazionalmente pesanti addestrati su grandi dataset, e quindi non si possono applicare così come sono a semplici dimostrazioni video.

Soluzione proposta

UVD prende un encoder visivo pre-addestrato e congelato (come VIP, R3M o LIV) e procede a ritroso dal frame finale: all'interno di un sotto-task la distanza di embedding dall'obiettivo corrente dovrebbe diminuire in modo monotono, quindi il frame più recente in cui tale monotonia si interrompe diventa il sotto-obiettivo precedente, e il passo si ripete fino all'inizio del video. I sotto-obiettivi scoperti rietichettano le dimostrazioni per il behavior cloning condizionato all'obiettivo e definiscono una ricompensa di RL come la diminuzione, a ogni passo, della distanza di embedding dal sotto-obiettivo corrente. In fase di test gli obiettivi provengono da una ricerca del vicino più prossimo (task singolo) o dall'inoltro di una data sequenza di sotto-obiettivi.

Idee chiave

Le rappresentazioni addestrate su brevi video per codificare l'avanzamento del task (VIP, R3M, LIV) danno distanze tra embedding quasi monotone all'interno di un sotto-task; su più sotto-task la curva delle distanze si appiattisce ai cambi di fase, segnando i confini dei sotto-task senza etichette.
VIP e LIV, addestrate esplicitamente per un avanzamento temporale regolare, sono quelle che hanno guadagnato di più con UVD, a sostegno della tesi che le rappresentazioni addestrate in senso temporale si prestano meglio alla scoperta dei sotto-obiettivi rispetto a modelli per immagini statiche come CLIP e DINOv2.
Le scelte euristiche dei sotto-obiettivi (un frame entro una finestra fissa in avanti, oppure da 3 a 5 frame casuali) hanno dato prestazioni comparabili nel dominio, ma hanno peggiorato la generalizzazione fuori dominio, perché producono sotto-obiettivi ridondanti e meno significativi.
Le ricompense definite rispetto al lontano frame finale non hanno guidato l'esplorazione di RL in un task a quattro fasi; le ricompense per sotto-obiettivo sì.
Poiché gli embedding sono rumorosi, in pratica servono un intervallo di tempo minimo tra i sotto-obiettivi e lo smoothing della curva delle distanze (regressione kernel di Nadaraya-Watson).

Risultati principali

Apprendimento per imitazione in FrankaKitchen con VIP e GCBC: il successo fuori dominio è salito da 0,035 a 0,188 e il completamento fuori dominio da 0,236 a 0,566, con il successo nel dominio invariato (0,736 contro 0,737).
Il successo fuori dominio è migliorato con ogni rappresentazione testata: R3M da 0,014 a 0,084, LIV da 0,008 a 0,066, CLIP da 0,005 a 0,073, DINOv2 da 0,012 a 0,055 e, con una policy Transformer in stile GPT su VIP, da 0,039 a 0,213.
RL in FrankaKitchen con PPO: l'RL condizionato all'obiettivo con il frame finale come obiettivo ha raggiunto un successo di 0,0; con le ricompense di UVD il successo medio/massimo su 3 seed è stato 0,65/1,0 con VIP e 0,649/1,0 con R3M.
Franka reale, successo fuori dominio su 20 rollout (GCBC contro GCBC + UVD): Apple-in-Oven 0,0 contro 0,25, Fries-and-Rack 0,0 contro 0,25, Fold-Cloth 0,0 contro 0,15.
Con interferenze umane durante l'esecuzione (10 rollout), il successo è passato da 0,0 a 0,5 in Apple-in-Oven e da 0,2 a 0,9 in Fries-and-Rack.
Tempo di scomposizione su una RTX A6000: 0,0023 s per un episodio medio di FrankaKitchen di 227 frame e 0,011 s per un video 720p di 698 frame, dopo la codifica (0,155 s e 0,450 s).

Limiti

Validato solo su task di manipolazione completamente osservabili; gli autori osservano che la navigazione e altri task embodied parzialmente osservati potrebbero non produrre sotto-obiettivi intuitivi o spiegabili.
I test reali fuori dominio sono più brevi dei task di addestramento: poiché i sotto-task reali dipendono in sequenza l'uno dall'altro, verificano il salto di un passo che una persona ha già completato.
Il rilevamento dei sotto-obiettivi si basa su un intervallo minimo prestabilito tra i sotto-obiettivi e su un passo di smoothing, e l'inoltro degli obiettivi in inferenza si basa su una soglia di distanza.
La valutazione su robot reale riguarda tre task, ciascuno con circa 100 dimostrazioni teleoperate e 20 rollout per configurazione.
I miglioramenti dipendono dalla rappresentazione: il successo nel dominio con CLIP e DINOv2 è rimasto tra 0,32 e 0,39.

Impatto sul settore

Finalista dell'IEEE ICRA 2024 Best Paper Award in Robot Vision, con 44 citazioni. L'articolo rimanda a una pagina del progetto e riporta in appendice lo pseudocodice Python della scomposizione; non fornisce un link a un repository di codice.

Abstract

I task robotici del mondo reale si estendono su orizzonti lunghi e comprendono più fasi. Apprendere task di manipolazione a lungo orizzonte, tuttavia, è una sfida di lunga data, e richiede di scomporre il task complessivo in diversi sotto-task gestibili per facilitare l'apprendimento delle policy e la generalizzazione a task mai visti. I metodi precedenti di scomposizione dei task richiedono conoscenze specifiche del task, sono computazionalmente onerosi e non possono essere applicati facilmente a task nuovi. Per superare questi limiti proponiamo Universal Visual Decomposer (UVD), un metodo di scomposizione dei task pronto all'uso per la manipolazione visiva a lungo orizzonte, che sfrutta rappresentazioni visive pre-addestrate progettate per il controllo robotico. In sintesi, UVD scopre i sotto-obiettivi rilevando i cambi di fase nello spazio degli embedding della rappresentazione pre-addestrata. Operando esclusivamente su dimostrazioni visive senza informazioni ausiliarie, UVD riesce a estrarre in modo efficace i sotto-obiettivi visivi contenuti nei video, senza alcun costo di addestramento aggiuntivo rispetto all'addestramento standard di policy visuomotorie. Le policy condizionate all'obiettivo apprese con i sotto-obiettivi scoperti da UVD mostrano, in fase di test, una generalizzazione composizionale significativamente migliore verso task mai visti. Inoltre, i sotto-obiettivi scoperti da UVD possono essere usati per costruire un reward shaping basato sugli obiettivi che dà avvio all'esplorazione temporalmente estesa nell'apprendimento per rinforzo. Valutiamo UVD in modo approfondito sia in simulazione sia su task reali e, in tutti i casi, UVD supera nettamente le baseline nei contesti di apprendimento per imitazione e per rinforzo, sia su sequenze di task interne al dominio sia esterne, il che conferma il chiaro vantaggio della scomposizione visiva automatica dei task all'interno del framework UVD, semplice e compatto.

Link

arXiv 2310.08581: https://arxiv.org/abs/2310.08581
DOI 10.1109/ICRA57147.2024.10611125: https://doi.org/10.1109/ICRA57147.2024.10611125
PDF: https://arxiv.org/pdf/2310.08581v1
Pagina del progetto: https://zcczhang.github.io/UVD