Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

LingBot-VA

Modello del mondo causale video-azione per il controllo di robot generalisti

Licenza

Apache-2.0

Panoramica

Modello del mondo causale video-azione per il controllo di robot generalisti, di Robbyant (Ant Group). Unifica a livello architetturale la predizione delle dinamiche visive e l'inferenza delle azioni in un'unica sequenza intercalata, usando un framework di diffusione autoregressiva con un'architettura mixture-of-transformers a doppio flusso. Offre meccanismi di rollout ad anello chiuso per un feedback continuo dall'ambiente, una pipeline di inferenza asincrona che parallelizza la predizione delle azioni con l'esecuzione motoria e un'ottimizzazione della KV cache per un controllo in tempo reale ad alta efficienza. Mostra ottime prestazioni su compiti di manipolazione a lungo orizzonte come preparare la colazione, con una migliore efficienza dei campioni e una generalizzazione a scene nuove. I pesi preaddestrati sono disponibili su HuggingFace e ModelScope.

LingBot-VA è un framework di modellazione causale del mondo che unifica la predizione delle dinamiche visive e l'inferenza delle azioni per il controllo di robot generalisti. Sviluppato da Robbyant (parte di Ant Group), usa un approccio di diffusione autoregressiva con un'architettura mixture-of-transformers (MoT) a doppio flusso, ottimizzata per compiti a lungo orizzonte e per la generalizzazione nel mondo reale.

L'innovazione chiave è trattare la modellazione del mondo tramite video come una base autonoma per l'apprendimento robotico. I modelli del mondo basati su video danno la capacità di immaginare il futuro prossimo comprendendo la causalità tra azioni e dinamiche visive. Questo permette ai robot di svolgere compiti sequenziali complessi, come preparare la colazione, prevedendo gli esiti visivi e pianificando le azioni di conseguenza.

Il sistema dispone di un meccanismo di rollout ad anello chiuso per acquisire un feedback continuo dall'ambiente e di una pipeline di inferenza asincrona che parallelizza la predizione delle azioni con l'esecuzione motoria, raggiungendo prestazioni in tempo reale.

Perché è importante

LingBot-VA è un world action model che unifica la predizione video e l'inferenza delle azioni del robot in un'unica architettura. Questo approccio causale e intercalato di Robbyant (Ant Group) rappresenta un nuovo paradigma in cui lo stesso modello che comprende la fisica può controllare direttamente i robot.

Il problema che risolve

Gli attuali sistemi di controllo robotico separano la percezione dall'azione. LingBot-VA mostra che un unico modello può prevedere congiuntamente come evolve il mondo e decidere quali azioni compiere, portando a un comportamento del robot più coerente ed efficace.

Punti chiave

  • Modello del mondo causale video-azione per il controllo di robot generalisti
  • Architettura unificata per la predizione delle dinamiche visive e l'inferenza delle azioni
  • Modellazione di sequenze intercalate di fotogrammi video e azioni del robot
  • Sviluppato da Robbyant (Ant Group) per l'IA incarnata
  • Dimostra forti capacità di generalizzazione zero-shot

A chi si rivolge

  • Ricercatori che esplorano i modelli del mondo per il controllo dei robot
  • Team che costruiscono sistemi di manipolazione basati sulla predizione video
  • Sviluppatori che studiano modelli causali per l'IA incarnata
  • Aziende che valutano architetture robotiche di nuova generazione

Limiti

  • Modello grande che richiede notevoli risorse di calcolo per l'inferenza
  • La generazione video causale aggiunge latenza alle decisioni sulle azioni
  • Approccio relativamente nuovo, con un'adozione limitata nella comunità
  • L'addestramento richiede dataset video e di azioni su larga scala

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.