LingBot-VA
Modello del mondo causale video-azione per il controllo di robot generalisti
Licenza
Apache-2.0
Panoramica
Modello del mondo causale video-azione per il controllo di robot generalisti, di Robbyant (Ant Group). Unifica a livello architetturale la predizione delle dinamiche visive e l'inferenza delle azioni in un'unica sequenza intercalata, usando un framework di diffusione autoregressiva con un'architettura mixture-of-transformers a doppio flusso. Offre meccanismi di rollout ad anello chiuso per un feedback continuo dall'ambiente, una pipeline di inferenza asincrona che parallelizza la predizione delle azioni con l'esecuzione motoria e un'ottimizzazione della KV cache per un controllo in tempo reale ad alta efficienza. Mostra ottime prestazioni su compiti di manipolazione a lungo orizzonte come preparare la colazione, con una migliore efficienza dei campioni e una generalizzazione a scene nuove. I pesi preaddestrati sono disponibili su HuggingFace e ModelScope.
LingBot-VA è un framework di modellazione causale del mondo che unifica la predizione delle dinamiche visive e l'inferenza delle azioni per il controllo di robot generalisti. Sviluppato da Robbyant (parte di Ant Group), usa un approccio di diffusione autoregressiva con un'architettura mixture-of-transformers (MoT) a doppio flusso, ottimizzata per compiti a lungo orizzonte e per la generalizzazione nel mondo reale.
L'innovazione chiave è trattare la modellazione del mondo tramite video come una base autonoma per l'apprendimento robotico. I modelli del mondo basati su video danno la capacità di immaginare il futuro prossimo comprendendo la causalità tra azioni e dinamiche visive. Questo permette ai robot di svolgere compiti sequenziali complessi, come preparare la colazione, prevedendo gli esiti visivi e pianificando le azioni di conseguenza.
Il sistema dispone di un meccanismo di rollout ad anello chiuso per acquisire un feedback continuo dall'ambiente e di una pipeline di inferenza asincrona che parallelizza la predizione delle azioni con l'esecuzione motoria, raggiungendo prestazioni in tempo reale.
Perché è importante
LingBot-VA è un world action model che unifica la predizione video e l'inferenza delle azioni del robot in un'unica architettura. Questo approccio causale e intercalato di Robbyant (Ant Group) rappresenta un nuovo paradigma in cui lo stesso modello che comprende la fisica può controllare direttamente i robot.
Il problema che risolve
Gli attuali sistemi di controllo robotico separano la percezione dall'azione. LingBot-VA mostra che un unico modello può prevedere congiuntamente come evolve il mondo e decidere quali azioni compiere, portando a un comportamento del robot più coerente ed efficace.
Punti chiave
- Modello del mondo causale video-azione per il controllo di robot generalisti
- Architettura unificata per la predizione delle dinamiche visive e l'inferenza delle azioni
- Modellazione di sequenze intercalate di fotogrammi video e azioni del robot
- Sviluppato da Robbyant (Ant Group) per l'IA incarnata
- Dimostra forti capacità di generalizzazione zero-shot
A chi si rivolge
- Ricercatori che esplorano i modelli del mondo per il controllo dei robot
- Team che costruiscono sistemi di manipolazione basati sulla predizione video
- Sviluppatori che studiano modelli causali per l'IA incarnata
- Aziende che valutano architetture robotiche di nuova generazione
Limiti
- Modello grande che richiede notevoli risorse di calcolo per l'inferenza
- La generazione video causale aggiunge latenza alle decisioni sulle azioni
- Approccio relativamente nuovo, con un'adozione limitata nella comunità
- L'addestramento richiede dataset video e di azioni su larga scala