Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

VIMA: General Robot Manipulation with Multimodal Prompts

Autori: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Formula i compiti di manipolazione come prompt che alternano testo e immagini, aggiunge il benchmark VIMA-Bench e propone un agente con token di oggetti e cross-attention che generalizza meglio delle architetture in stile Gato.

Perché è importante

Un'unica interfaccia a prompt copre il raggiungimento di obiettivi, l'imitazione one-shot da video, il grounding di concetti nuovi e il soddisfacimento di vincoli, così una sola policy può essere addestrata e confrontata su tutti questi compiti. Le ablazioni danno indicazioni di progettazione concrete: i token di oggetti a lunghezza variabile e il condizionamento con cross-attention battono i tokenizzatori su pixel grezzi e il condizionamento solo decoder, soprattutto con modelli piccoli e compiti nuovi.

Problema

I compiti robotici vengono specificati in forme diverse, come dimostrazioni one-shot, istruzioni in linguaggio naturale e obiettivi visivi, e di solito sono affrontati con modelli specializzati con architetture, obiettivi e pipeline di dati distinti. Nessun benchmark offriva una suite di compiti con prompt multimodali con una verifica sistematica della generalizzazione.

Soluzione proposta

I compiti sono scritti come prompt che alternano testo e immagini. VIMA codifica il prompt con un encoder T5-Base preaddestrato, trasforma le immagini in token di oggetti (bounding box di Mask R-CNN più ritagli codificati con ViT) e decodifica pose discretizzate dell'end effector per pick-and-place o spinta con un Transformer che alterna self-attention causale e cross-attention verso il prompt. È addestrato con behavior cloning su VIMA-Bench, un'estensione di Ravens/PyBullet con 17 modelli di compito, 650.000 traiettorie esperte riuscite (50.000 per compito, Sezione 3; l'abstract arrotonda a oltre 600.000) e un protocollo di generalizzazione a quattro livelli.

Idee chiave

  • I token di oggetti superano i tokenizzatori su pixel grezzi (patch di immagine, Image Perceiver, un solo token per immagine); gli autori ipotizzano che i tokenizzatori su pixel spendano capacità per ricavare gli oggetti dai pixel.
  • Ridurre gli oggetti a un numero fisso di token (Object Perceiver) è significativamente peggio che passare la sequenza di oggetti a lunghezza variabile, anche con gli stessi bounding box in ingresso.
  • Il condizionamento con cross-attention conta soprattutto con modelli di piccole dimensioni e sui compiti nuovi di L4; una variante solo decoder raggiunge prestazioni comparabili nei modelli più grandi.
  • La dimensione dell'encoder del prompt (T5 small 30M, base 111M, large 368M) non ha fatto una differenza significativa, quindi T5-Base è la scelta predefinita.
  • Con l'augmentation degli oggetti (rilevamenti falsi positivi iniettati casualmente), il Mask R-CNN sottoposto a fine-tuning perde poche prestazioni rispetto ai bounding box reali.

Risultati principali

  • Controller da 200 milioni di parametri: 81,5% (L1), 81,5% (L2), 78,7% (L3) e 48,6% (L4) di successo medio su VIMA-Bench, contro 58,0%, 53,1%, 46,0% e 16,8% di VIMA-Gato.
  • L4 (compiti nuovi) con un controller da 20 milioni di parametri: 48,8% per VIMA contro 12,3% per VIMA-Gato, la base del miglioramento relativo 'fino a 2,9×'.
  • Addestrato sul 10% dei dati, VIMA raggiunge il 46% su L4, contro il 12,2% di VIMA-Gato addestrato sul dataset completo (il dato '2,7×').
  • Con l'1% dei dati, VIMA ottiene prestazioni simili alle baseline addestrate con 10× più dati su L1 e L2.
  • Passando ai livelli più difficili, VIMA mostra una regressione minima da L1 a L2 e L3, mentre le baseline peggiorano fino al 20%; il suo calo su L4 è la metà di quello delle baseline.

Limiti

  • Si basa su un rilevatore di oggetti separato e ne eredita gli errori, che possono verificarsi in caso di occlusione o con forme di oggetti fuori distribuzione.
  • Realismo del simulatore e complessità dei compiti limitati: VIMA-Bench punta alla capacità multi-task, alla generalizzazione e alla comprensione multimodale, non al realismo fisico.
  • Primitive di azione limitate: solo le azioni di alto livello di pick-and-place e di spinta/pulizia di Transporter; un controllo di livello più basso, come le coppie ai giunti, richiederebbe modifiche.
  • Tutti gli esperimenti sono in simulazione; l'articolo non riporta esperimenti propri su robot reali.
  • Tutti i metodi, VIMA compreso, peggiorano in modo significativo sui compiti nuovi di L4, dove VIMA resta sotto il 50% di successo medio.

Impatto sul settore

Pubblicato a ICML 2023. Semantic Scholar conta 655 citazioni (14 novembre 2026). Gli autori rilasciano come open source l'ambiente di simulazione (VIMA-Bench), il dataset di addestramento, il codice dell'algoritmo e i checkpoint del modello preaddestrato.

Abstract

L'apprendimento basato su prompt si è affermato come un paradigma di successo nell'elaborazione del linguaggio naturale, dove a un unico modello linguistico di uso generale si può chiedere di eseguire qualsiasi compito specificato tramite prompt in ingresso. Nella robotica, tuttavia, la specifica dei compiti assume forme diverse, come imitare dimostrazioni one-shot, seguire istruzioni in linguaggio naturale e raggiungere obiettivi visivi. Questi vengono spesso considerati compiti diversi e affrontati con modelli specializzati. Mostriamo che un'ampia gamma di compiti di manipolazione robotica può essere espressa con prompt multimodali che alternano token testuali e visivi. Di conseguenza, sviluppiamo un nuovo benchmark di simulazione composto da migliaia di compiti da tavolo generati proceduralmente con prompt multimodali, oltre 600.000 traiettorie esperte per l'apprendimento per imitazione e un protocollo di valutazione a quattro livelli per la generalizzazione sistematica. Progettiamo un agente robotico basato su Transformer, VIMA, che elabora questi prompt e produce azioni motorie in modo autoregressivo. VIMA adotta una ricetta che ottiene una forte scalabilità del modello ed efficienza nei dati. Supera le architetture alternative nello scenario di generalizzazione zero-shot più difficile fino a 2,9× nel tasso di successo dei compiti, a parità di dati di addestramento. Con 10× meno dati di addestramento, VIMA ottiene comunque prestazioni 2,7× migliori della migliore variante concorrente. Il codice e i video dimostrativi sono disponibili su https://vimalabs.github.io/

Link

  • arXiv 2210.03094: https://arxiv.org/abs/2210.03094
  • PDF: https://arxiv.org/pdf/2210.03094v2
  • Codice: https://github.com/vimalabs/VIMA
  • Pagina del progetto: https://vimalabs.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.