WALL-OSS
Modello Vision-Language-Action da 4B parametri per una manipolazione robotica generalizzabile
Licenza
Apache-2.0
Panoramica
WALL-OSS è un modello Vision-Language-Action (VLA) da 4 miliardi di parametri che permette ai robot di svolgere compiti di manipolazione complessi a partire da istruzioni in linguaggio naturale. Basato su un'architettura Mixture-of-Experts (MoE) strettamente accoppiata, integra comprensione visiva, ragionamento linguistico e generazione di azioni continue in un unico modello unificato. WALL-OSS raggiunge prestazioni allo stato dell'arte su diversi benchmark di manipolazione robotica mantenendo una velocità di inferenza in tempo reale, il che lo rende utilizzabile su robot fisici.
WALL-OSS introduce un'architettura MoE strettamente accoppiata in cui la comprensione visione-linguaggio e la generazione delle azioni condividono lo stesso backbone, consentendo un ragionamento cross-modale profondo invece di trattare la predizione delle azioni come un compito a valle separato.
Il modello riceve in ingresso immagini di telecamere RGB e descrizioni dei compiti in linguaggio naturale, e produce sia azioni discrete di alto livello (ragionamento chain-of-thought, scomposizione in sotto-compiti) sia azioni continue di basso livello del robot (posizioni dei giunti, comandi della pinza).
L'addestramento segue una pipeline in due fasi: prima una fase "Inspiration" che addestra su dati visione-linguaggio su larga scala per il grounding, poi una fase "Integration" che esegue il fine-tuning su dimostrazioni di manipolazione robotica con etichette di azione.
WALL-OSS è compatibile con il framework LeRobot per la raccolta dei dati e il deployment, ed è stato validato su hardware robotico reale, comprese configurazioni di manipolazione a braccio singolo e bimanuali. I pesi del modello sono rilasciati con licenza Apache 2.0 su Hugging Face.
Perché è importante
WALL-OSS dimostra che accoppiare strettamente visione, linguaggio e azione in un unico modello produce prestazioni di manipolazione robotica nettamente migliori rispetto agli approcci a pipeline. Come modello VLA da 4B parametri completamente open source con licenza Apache 2.0, offre alla comunità un solido foundation model per costruire sistemi di manipolazione robotica generalizzabili.
Il problema che risolve
Gli attuali sistemi di manipolazione robotica richiedono un addestramento specifico per ogni nuovo oggetto o scenario, oppure usano approcci a pipeline in cui visione e azione sono accoppiate in modo lasco, perdendo un ragionamento spaziale importante. WALL-OSS risolve il problema apprendendo una rappresentazione unificata che integra a fondo la comprensione visiva con la generazione delle azioni, consentendo una generalizzazione zero-shot a nuovi compiti.
Punti chiave
- VLA da 4B parametri con architettura MoE strettamente accoppiata
- Ragionamento chain-of-thought unificato con output di azioni continue
- Stato dell'arte su diversi benchmark di manipolazione
- Compatibile con LeRobot per la raccolta dei dati e il deployment
- Pesi completamente open source su Hugging Face (Apache 2.0)
A chi si rivolge
- Ricercatori di manipolazione robotica
- Ricercatori di VLA e foundation model
- Utenti di LeRobot
- Ingegneri di apprendimento robotico
Limiti
- Richiede una GPU con VRAM sufficiente per l'inferenza di un modello da 4B
- Validato principalmente su compiti di manipolazione da tavolo
- Serve un fine-tuning per embodiment robotici molto diversi
- L'inferenza in tempo reale può richiedere la quantizzazione del modello su hardware edge