Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation

Autori: Qixiu Li, Yaobo Liang, Zeyu Wang, Lin Luo, Xi Chen, Mozheng Liao, Fangyun Wei, Yu Deng, Sicheng Xu, Yizhong Zhang, Xiaofan Wang, Bei Liu, Jianlong Fu, Jianmin Bao, Dong Chen, Yuanchun Shi, Jiaolong Yang, Baining Guo · 2024

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

CogACT pone un modulo d'azione con Transformer a diffusione sopra un modello visione-linguaggio da 7B. Nella simulazione SIMPLER supera OpenVLA di oltre il 35% nel successo medio, e su due bracci reali del 55%.

Perché è importante

La maggior parte dei grandi VLA trasforma le azioni del robot in token simili al testo. CogACT invece dà all'azione un proprio modulo, un Transformer a diffusione che legge una sola caratteristica del modello visione-linguaggio. Aggiungere qualche centinaio di milioni di parametri a questo modulo, poco rispetto alla base da 7B, ha portato miglioramenti notevoli. Gli autori suggeriscono che sia un modo più efficiente di far crescere i modelli VLA. Codice e modelli sono pubblici.

Problema

I grandi VLA adattano spesso i modelli visione-linguaggio alle azioni in modo semplice. Alcuni suddividono le azioni continue in bin discreti e le prevedono come parole, il che rende le azioni difficili da imparare e meno precise. Altri aggiungono una testa di regressione, che ignora che un compito si può svolgere con diverse traiettorie. Di conseguenza i tassi di successo restano bassi.

Soluzione proposta

CogACT ha tre parti. Un modulo visivo (DINOv2 e SigLIP) trasforma l'immagine della telecamera in token. Un modulo linguistico (LLaMA-2, dal Prismatic VLM) legge questi token, l'istruzione e un token cognitivo apprendibile, e produce una caratteristica cognitiva. Un modulo d'azione con Transformer a diffusione usa quella caratteristica per prevedere l'azione attuale della pinza a 7 gradi di libertà più 15 azioni future. Tutte le parti sono addestrate end-to-end. In esecuzione, un Adaptive Action Ensemble mescola previsioni passate e attuali, dando più peso a quelle passate simili all'attuale.

Idee chiave

  • In simulazione, i moduli d'azione con Transformer a diffusione battono teste MLP con lo stesso numero di parametri (DiT-Base 62,5% contro il 52,5% di un MLP a 7 strati in media, entrambi da 89M).
  • Il successo medio dei moduli d'azione Transformer cresce in modo circa lineare con il logaritmo della loro dimensione; il più grande, DiT-Large (308M), ha raggiunto il 64,8% in media.
  • Prevedere le azioni future aiuta: 15 passi futuri hanno dato il 62,5% in media, contro il 42,8% senza passi futuri e il 51,2% con 31.
  • L'Adaptive Action Ensemble ha ottenuto il 62,5% in media, contro il 58,9% di Temporal Ensemble e il 50,7% di Action Chunking.

Risultati principali

  • Simulazione SIMPLER, robot Google: successo medio del 74,8% in Visual Matching e del 61,3% in Variant Aggregation, contro il 34,3% e il 39,3% di OpenVLA e il 46,3% e il 54,4% di RT-2-X.
  • Simulazione SIMPLER, robot WidowX (Visual Matching): successo medio del 51,3%, contro il 4,2% di OpenVLA e il 26,7% di Octo-Small.
  • Vero braccio Realman, dopo il fine-tuning su 391 dimostrazioni: 71,2% di successo medio su Pick, Stack e Place, contro il 12,1% di OpenVLA e il 4,9% di Octo-Base.
  • Vero braccio Franka, dopo il fine-tuning su 400 dimostrazioni: 61,4% di successo medio su quattro compiti, contro il 6,8% di OpenVLA e il 5,8% di Octo-Base.
  • Generalizzazione su Realman: 58,4% su tavoli mai visti con distrattori mai visti (OpenVLA 9,7%) e 64,6% su colori, forme e categorie mai visti (OpenVLA 6,3%).
  • CogACT ha 7.6B parametri; RT-2-X ne ha 55B. L'articolo riporta un guadagno assoluto di successo del 18% su RT-2-X in simulazione (solo robot Google).

Limiti

  • L'articolo non ha una sezione sui limiti. Il suo ambito è ristretto: considera solo «lo spazio d'azione di una pinza con 7 gradi di libertà (DoF)» e dataset a braccio singolo.
  • Alcuni compiti reali restano difficili: su Realman, impilare un blocco su un altro è riuscito nel 33,3% dei casi (16,7% su tavoli mai visti), e con categorie di oggetti mai viste nel 25,0%.
  • Le prove su robot reali sono piccole: 11 prove per compito Franka e da 8 a 48 prove per test Realman. RT-2-X è stato confrontato solo sul robot Google simulato; per WidowX, «non sono disponibili pubblicamente pesi del modello per la valutazione».

Impatto sul settore

CogACT mostra che un VLA si può costruire da un modello visione-linguaggio preaddestrato più un modulo d'azione a diffusione separato e piuttosto piccolo, addestrato end-to-end insieme a esso. Gli autori lo presentano come un modo più efficiente di far crescere i modelli VLA rispetto all'ingrandire l'intero modello. Codice e pesi del modello sono pubblici, così altri possono affinarlo sui propri robot.

Abstract

I modelli Vision-Language-Action si sono mostrati promettenti per la manipolazione robotica, ma la maggior parte degli approcci si limita ad adattare i modelli Vision-Language alla predizione delle azioni tramite una semplice quantizzazione delle azioni. Proponiamo CogACT, un'architettura VLA a componenti dotata di un modulo specializzato per le azioni condizionato sull'output del VLM. Mostriamo che un Transformer di diffusione per le azioni migliora in modo significativo la modellazione delle sequenze di azioni, con proprietà di scalabilità favorevoli. Il nostro modello è testato su cinque embodiment robotici in ambienti sia simulati sia reali, superando i tassi di successo medi di OpenVLA di oltre il 35% nella valutazione in simulazione e del 55% negli esperimenti con robot reali, e superando del 18% il più grande modello RT-2-X nei compiti in simulazione.

Link

  • arXiv 2411.19650: https://arxiv.org/abs/2411.19650
  • PDF: https://arxiv.org/pdf/2411.19650.pdf
  • Codice: https://github.com/microsoft/CogACT
  • Pagina del progetto: https://cogact.github.io/

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.