Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Instant Policy: In-Context Imitation Learning via Graph Diffusion

Autori: Vitalis Vosylius, Edward Johns · ICLR 2025

ICLR 2025

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Instant Policy impara un nuovo compito robotico da una o due dimostrazioni, senza ulteriore addestramento. Tratta l'imitazione in contesto come generazione di grafi con la diffusione ed è addestrato su pseudo-dimostrazioni generate in simulazione.

Perché è importante

Gli attuali metodi di behavior cloning richiedono centinaia o migliaia di dimostrazioni e ore di addestramento per ogni nuovo compito. Instant Policy richiede una o due dimostrazioni e nessun addestramento al momento del test. I suoi dati di addestramento sono generati in simulazione, quindi non è limitato da costosi dati robotici raccolti a mano. Su un vero robot Sawyer ha raggiunto in media l'88,75% di successo su 16 compiti quotidiani, con due dimostrazioni ciascuno.

Problema

Il behavior cloning richiede ancora centinaia o migliaia di dimostrazioni per compito e ore di addestramento. L'apprendimento in contesto potrebbe eliminare questo passaggio, ma nel linguaggio e nella visione si basa su enormi dataset che la robotica non ha. L'articolo indica due sfide: trovare i giusti bias induttivi per imparare in 3D da dati limitati e trovare un modo per raccogliere dati di addestramento su larga scala.

Soluzione proposta

Le dimostrazioni, l'osservazione attuale a nuvola di punti e le future azioni del robot vengono unite in un grafo eterogeneo. I nodi della scena portano caratteristiche di geometria locale da un encoder preaddestrato; sei nodi della pinza portano la posa dell'end effector e lo stato della pinza. Un Transformer su grafi apprende un processo di diffusione che rimuove il rumore solo dai nodi d'azione, da cui si ottengono i movimenti dell'end effector e i comandi di apertura e chiusura. Il modello è addestrato su pseudo-dimostrazioni: traiettorie casuali ma coerenti attorno a oggetti ShapeNet, generate in simulazione senza limiti. Al momento del test le dimostrazioni sono fornite come contesto e i pesi del modello non cambiano.

Idee chiave

  • Poiché un modello in contesto non memorizza le policy dei compiti nei suoi pesi, può essere addestrato su traiettorie simulate «arbitrarie ma coerenti» (pseudo-dimostrazioni) invece che su dati reali dei compiti.
  • Le scelte progettuali contano molto in simulazione: eliminare la diffusione e regredire direttamente le azioni è costato il 29% di successo, e usare traslazione più quaternione invece di traslazione e rotazione disaccoppiate è costato il 37%.
  • Le dimostrazioni devono essere abbastanza dense da mostrare come si svolge il compito: dare solo l'obiettivo finale (lunghezza della dimostrazione 1) è costato il 71%; più di due dimostrazioni hanno aiutato poco quando cambiavano solo le pose degli oggetti.
  • La loss di validazione ha continuato a scendere con più addestramento e modelli più grandi; il successo su compiti RLBench mai visti è salito nettamente da 69M a 117M parametri, ma solo di poco a 178M, il che per gli autori indica il bisogno di dati più diversi.
  • La generalizzazione a nuove forme di oggetti è emergente: il modello non è mai stato addestrato con geometrie di oggetti diverse nel contesto, eppure migliora man mano che riceve dimostrazioni più varie.

Risultati principali

  • In simulazione (RLBench, Franka Emika Panda, 24 compiti, 100 esecuzioni ciascuno), addestrato solo su pseudo-dimostrazioni, Instant Policy ha raggiunto in media 0,71 di successo, contro 0,36 di BC-Z, 0,38 di Vid2Robot e 0,34 di GPT2* (baseline adattate alle nuvole di punti).
  • In simulazione, dopo aver aggiunto 20 dimostrazioni per ciascuno di 12 compiti RLBench, ha raggiunto in media 0,97 su quei 12 compiti e 0,82 sui 12 compiti mai visti; le migliori baseline sono arrivate a 0,65 (GPT2) e 0,43 (BC-Z).
  • Su un vero robot Sawyer con pinza Robotiq 2F-85, su 16 compiti quotidiani con 10 esecuzioni ciascuno, ha raggiunto in media l'88,75% di successo, contro il 34,38% (BC-Z), il 40,63% (Vid2Robot) e il 36,88% (GPT2*).
  • Sul robot reale, con oggetti assenti sia dall'addestramento sia dalle dimostrazioni (4 compiti), il successo è salito con il numero di dimostrazioni: 40% con 1, 52,5% con 2, 85% con 3 e 90% con 4.
  • In prove qualitative nel mondo reale ha trasferito al robot dimostrazioni fatte con la mano umana, con un successo simile all'insegnamento cinestetico in compiti semplici come il pick-and-place, e ha completato compiti partendo solo da comandi in linguaggio naturale.

Limiti

  • Presuppone che siano disponibili nuvole di punti segmentate.
  • Le nuvole di punti non portano colore né altre informazioni semantiche.
  • È pensato per compiti a orizzonte relativamente breve, in cui vale l'ipotesi di Markov.
  • È sensibile alla qualità e al sottocampionamento delle dimostrazioni fornite al momento del test.
  • Non gestisce l'evitamento delle collisioni né controlla l'intero spazio delle configurazioni del braccio.
  • Gli manca la precisione per compiti con tolleranze estremamente basse o dinamiche di contatto complesse.

Impatto sul settore

Gli autori presentano l'imitazione in contesto come «un paradigma alternativo convincente» al behavior cloning, che richiede centinaia o migliaia di dimostrazioni per compito. I loro risultati di scalabilità suggeriscono che le prestazioni siano limitate soprattutto dalla potenza di calcolo e dalla diversità delle pseudo-dimostrazioni simulate. Codice e video sono pubblici su robot-learning.uk/instant-policy.

Abstract

Presentiamo Instant Policy, il primo metodo di apprendimento per imitazione in-context (ICIL) che impara nuovi compiti istantaneamente (senza ulteriore addestramento) da appena una o due dimostrazioni. A differenza degli approcci esistenti, che si condizionano direttamente sulle dimostrazioni, Instant Policy adotta un processo in due fasi: prima introduciamo bias induttivi formulando l'ICIL come un problema di generazione di grafi, poi modelliamo questo problema con un processo di diffusione appreso. La nostra intuizione chiave è che, mentre i metodi tradizionali di apprendimento per imitazione richiedono numerose dimostrazioni per addestrare una policy per un singolo compito, un singolo modello ICIL può essere addestrato con pseudo-dimostrazioni arbitrarie (traiettorie casuali generate in simulazione) per acquisire la capacità di imparare dalle dimostrazioni in tempo reale. Negli esperimenti mostriamo che Instant Policy consente un apprendimento rapido di vari compiti robotici quotidiani e può fare da base per il trasferimento cross-embodiment e zero-shot a compiti definiti dal linguaggio.

Link

  • arXiv 2411.12633: https://arxiv.org/abs/2411.12633
  • DOI 10.48550/arXiv.2411.12633: https://doi.org/10.48550/arXiv.2411.12633
  • PDF: https://arxiv.org/pdf/2411.12633.pdf
  • Codice: https://github.com/vv19/instant_policy
  • Pagina del progetto: https://www.robot-learning.uk/instant-policy

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.