Perceptron Isaac 0.5
VLA sparso e aperto da 36B che unisce comprensione dei video, ragionamento incarnato e controllo
Licenza
Apache-2.0
Panoramica
Isaac 0.5 è un foundation model sparso e aperto da 36 miliardi di parametri di Perceptron che riunisce comprensione dei video, ragionamento incarnato e controllo dei robot su un'unica architettura di base. Legge immagini, video, istruzioni in linguaggio naturale, stato del robot e azioni precedenti, e produce testo, coordinate normalizzate, stime dello stato del compito o azioni del robot. L'addestramento ha attinto a oltre 35 sistemi robotici, 100.000 ore di esperienza robotica, un milione di ore di video generici e tremila miliardi di token multimodali, con percezione, grounding, avanzamento del compito e azione addestrati insieme fin dall'inizio anziché assemblati in seguito. Il controllo continuo viene da un esperto Flow e da un Transformer di diffusione a 36 blocchi; il controllo discreto usa un vocabolario FAST separato da 2.048 token. I pesi sono su Hugging Face con licenza Apache-2.0, e addestramento, inferenza, integrazione con LeRobot e server di policy di riferimento si trovano nel repository di accompagnamento, anch'esso Apache-2.0.
L'architettura di base è un modello Vision-Language (VLM) da 36B della famiglia Qwen con strati sparsi mixture-of-experts: ogni token può raggiungere 256 esperti appresi più un percorso nullo, prendendone da zero a otto, mentre un esperto condiviso e il percorso residuo restano sempre attivi, quindi il calcolo instradato varia tra token visivi, linguistici, di stato e di azione. Testo, visione, tempo, stato del robot e cronologia delle azioni entrano in un'unica sequenza compatta, e l'interfaccia autoregressiva emette testo, coordinate, output sullo stato del compito e azioni discrete. I blocchi di azioni continue provengono da un esperto Flow separato, condizionato sugli stati dell'architettura di base, che pilota un Transformer di diffusione a 36 blocchi. Durante il controllo ad anello chiuso Isaac predice il blocco successivo mentre quello corrente è ancora in esecuzione, usando l'osservazione più recente e i comandi già inviati. Il risultato pubblicato più rilevante è una legge di scala che mette in relazione i video generici con la teleoperazione: a una loss di azione su dati esclusi di 2,50, un modello addestrato su 1.000 ore di video generici ha bisogno di circa 5.900 ore di teleoperazione, mentre uno addestrato su un milione di ore di video ne richiede circa 28, una riduzione di 210 volte.
Perché è importante
Le policy robotiche aperte sono state finora addestrate per lo più su dati robotici, il tipo di dati più costoso da raccogliere. Isaac pubblica sia un modello sia una misura di quanto i video generici possano sostituire la teleoperazione, trasformando la domanda "raccogliere più video o più ore di robot?" da un'intuizione a una questione di budget. Mette inoltre percezione e controllo su un'unica architettura di base con una licenza permissiva, così lo stesso checkpoint può essere una policy, un front end visivo per un pianificatore o un motore di etichettatura.
Il problema che risolve
Addestrare una policy robotica ha sempre significato raccogliere dati robotici, e nessuno sapeva dire quanto valessero i video generici in ore di teleoperazione. Isaac fornisce sia un modello aperto a quella scala sia la misura.
Punti chiave
- Architettura di base mixture-of-experts sparsa da 36B: 256 esperti più un percorso nullo per strato, da zero a otto usati per token, con un esperto condiviso sempre attivo
- Un solo modello per comprensione dei video, puntamento e tracciamento, stima dell'avanzamento del compito e generazione delle azioni, addestrati insieme anziché assemblati
- Due interfacce di azione: un esperto Flow con un Transformer di diffusione a 36 blocchi per i blocchi continui, e un vocabolario FAST da 2.048 token per il controllo discreto
- Funzionamento ad anello chiuso in tempo reale: il blocco di azioni successivo viene predetto mentre quello corrente è in esecuzione, condizionato sui comandi inviati
- Una legge di scala pubblicata: portare i video generici da 1.000 a 1.000.000 di ore ha ridotto la teleoperazione necessaria per la stessa loss di azione da circa 5.900 ore a circa 28
- Apache-2.0 sia per i pesi su Hugging Face sia per il codice di addestramento, inferenza e integrazione con LeRobot
A chi si rivolge
- Team che eseguono il fine-tuning di un VLA aperto sulle proprie dimostrazioni
- Gruppi di apprendimento dei robot che devono decidere come dividere un budget per i dati tra video e teleoperazione
- Sviluppatori che vogliono un unico checkpoint per percezione, grounding e controllo anziché tre modelli
- Utenti LeRobot che cercano una policy di scala frontier che si possa davvero scaricare
Limiti
- Il checkpoint non funziona con Transformers standard né con LeRobot ufficiale: richiede il repository Perceptron Isaac a un commit fissato
- Due componenti di runtime, mHarmony e TensorStream, sono mantenuti fuori dal repository, e il README afferma che un checkout pulito non basta ancora per rendering, addestramento o inferenza
- Con 36B parametri è un modello grande da servire; Perceptron non pubblica requisiti minimi di GPU o di memoria
- Sia il modello sia il repository del codice sono stati pubblicati a fine agosto 2026, quindi non esiste ancora un caso documentato di impiego fuori da Perceptron
- La legge di scala è misurata sulla loss di azione su dati esclusi e non sul successo nei compiti, e sulle miscele di dati proprie di Perceptron