Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Pelican-VL

Modelli Vision-Language (VLM) incarnati open source da 3B a 72B per la robotica umanoide

Licenza

Apache-2.0

Panoramica

Pelican-VL 1.0 è una famiglia di modelli vision-language incarnati open source (3B, 7B e 72B parametri) basati su Qwen2.5-VL, addestrati su oltre 4 miliardi di token provenienti da 231 milioni di immagini e 29.000 ore di video, con più di 1000 GPU A800. Il modello introduce la Deliberate Practice Policy Optimization (DPPO), un metaciclo metacognitivo RL-Refine-Diagnose-SFT che ottiene un miglioramento delle prestazioni del 20,3% rispetto al modello di base. È il primo VLM a chiudere il ciclo sensomotorio per la manipolazione tattile ricca di contatti, prevedendo e affinando continuamente la forza di presa in compiti robotici reali.

Pelican-VL 1.0 è una famiglia di foundation model multimodali vision-language open source, progettati appositamente per l'intelligenza incarnata, con scale di 3B, 7B e 72B parametri. Sviluppato dal WFM System Group del Beijing Innovation Center of Humanoid Robotics (X-Humanoid), è basato sull'architettura Qwen2.5-VL e addestrato su un enorme corpus di 231 milioni di immagini, 29.000 ore di video e oltre 4 miliardi di token di annotazioni intermodali. L'addestramento è stato condotto su un cluster di oltre 1000 GPU NVIDIA A800, e ogni checkpoint ha richiesto più di 50.000 ore-GPU.

L'innovazione centrale del modello è la Deliberate Practice Policy Optimization (DPPO), un framework di addestramento metacognitivo ispirato al modo in cui gli esseri umani imparano attraverso la pratica deliberata. La DPPO opera come un metaciclo che alterna fasi di apprendimento per rinforzo (RL) per il grounding esplorativo e fasi di fine-tuning supervisionato (SFT) per la correzione mirata delle debolezze individuate. In inferenza, Pelican-VL produce risultati intermedi di grounding visivo e di affordance in testo strutturato, disaccoppiando di fatto il ragionamento visivo, la pianificazione incarnata e l'esecuzione delle funzioni attraverso un approccio di function calling basato sulle affordance.

Pelican-VL è stato convalidato con numerosi esperimenti robotici reali in tre ambiti critici: la manipolazione tattile ricca di contatti (in cui è il primo VLM a chiudere il ciclo sensomotorio), il ragionamento sulle affordance orientato al compito per operazioni di pick-and-place con oggetti nuovi, e la pianificazione a lungo orizzonte tramite un sistema multi-agente che consente a un unico cervello di controllare piattaforme robotiche diverse. Il modello genera mappe di affordance multivista per la conversione in azioni robotiche 3D e gestisce la manipolazione di oggetti delicati con un controllo adattivo della forza.

Perché è importante

Pelican-VL 1.0 rappresenta una tappa significativa per l'IA incarnata perché colma, su una scala senza precedenti, il divario tra la comprensione vision-language di uso generale e la manipolazione robotica nel mondo reale. Mentre la maggior parte dei VLM esistenti eccelle nel visual question answering ma manca di grounding nell'interazione fisica, Pelican-VL dimostra che un addestramento su scala massiccia, combinato con un framework di apprendimento metacognitivo fondato su principi (DPPO), può produrre modelli che ragionano davvero su fisica, affordance e dinamica delle forze. Rendendo open source modelli fino a 72B parametri insieme al codice di addestramento e ai dataset, X-Humanoid ha permesso alla comunità robotica più ampia di costruire su una base che in precedenza esisteva solo dietro barriere proprietarie.

Il problema che risolve

Gli attuali modelli vision-language ottengono risultati impressionanti nei benchmark, ma mancano fondamentalmente del grounding fisico, del ragionamento sulle affordance e delle capacità di manipolazione consapevole della forza necessari per l'impiego robotico nel mondo reale. Pelican-VL affronta queste sfide con un preaddestramento multimodale su scala massiccia combinato con il metaciclo DPPO, che diagnostica sistematicamente le debolezze per dimensione e genera dati di addestramento mirati per correggerle, producendo un modello che non solo capisce ciò che vede, ma sa ragionare su come interagire fisicamente con il mondo.

Punti chiave

  • Il più grande VLM incarnato open source, con 72B parametri, addestrato su oltre 4B token da 231 milioni di immagini e 29.000 ore di video
  • Il nuovo framework di addestramento DPPO ottiene un miglioramento del 20,3% rispetto al modello di base e supera del 10,6% i concorrenti di classe 100B
  • Primo VLM a chiudere il ciclo sensomotorio per la manipolazione tattile ricca di contatti, con prese reali adattive alla forza
  • Generalizzazione multipiattaforma: un unico modello controlla piattaforme robotiche diverse tramite function calling basato sulle affordance
  • Completamente open source: codice di inferenza, pipeline di addestramento SFT/LoRA, checkpoint 3B/7B/72B e script di valutazione sotto licenza Apache 2.0

A chi si rivolge

  • Ricercatori di robotica che sviluppano sistemi autonomi di manipolazione, presa e navigazione
  • Aziende di robotica umanoide che cercano un modello cerebrale incarnato open source per piattaforme robotiche diverse
  • Ingegneri di IA incarnata che lavorano a pipeline vision-language-action con previsione delle affordance
  • Gruppi accademici che studiano l'apprendimento multimodale, l'RL per la robotica o i framework di addestramento metacognitivo

Limiti

  • Il modello 72B richiede inferenza su più GPU (8 GPU) e l'addestramento ha consumato oltre 50.000 ore-GPU A800 per checkpoint
  • Usa il function calling per le azioni invece della generazione diretta di traiettorie; richiede a valle uno stack di pianificazione del movimento
  • La tassonomia di valutazione a nove dimensioni potrebbe non cogliere appieno tutti gli aspetti dell'intelligenza incarnata nel mondo reale
  • Gli esperimenti reali coprono un insieme relativamente ristretto di scenari di manipolazione rispetto alla piena varietà domestica e industriale

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.