LingBot-Map

Ricostruzione 3D in streaming da una sola telecamera: posa e profondità per ogni frame, dal vivo

Licenza

Apache 2.0

Codice e pesi del modello: Apache-2.0 (LICENSE.txt del repository e scheda del modello su Hugging Face). Il backbone è inizializzato da DINOv2 (Apache-2.0). Il mix di addestramento include dataset accademici con condizioni proprie, alcune non commerciali (per esempio ScanNet e il Waymo Open Dataset); gli autori rilasciano comunque i pesi con licenza Apache-2.0. Verificato il 2026-10-23.

Panoramica

LingBot-Map è un modello feed-forward di Robbyant, il laboratorio di IA incarnata di Ant Group, che ricostruisce una scena in 3D da una singola telecamera in movimento man mano che arriva il video. Per ogni nuovo frame prevede la posa della telecamera e una mappa di profondità usando solo i frame già visti, così la traiettoria e una nuvola di punti densa si costruiscono dal vivo, in modo simile a un sistema di SLAM visivo, ma senza tracking costruito a mano, corrispondenza delle feature o bundle adjustment. Il codice e i pesi sono Apache-2.0 nel repository lingbot-map, con i checkpoint su Hugging Face, e il lavoro è descritto in un rapporto tecnico e in un articolo di ECCV 2026. L'articolo riporta circa 20 FPS a 518 × 378 pixel su una NVIDIA H800 e circa 12 FPS su una RTX 4090, su sequenze di oltre 10.000 frame. Proviene dallo stesso laboratorio di LingBot-VLA e LingBot-VA.

LingBot-Map segue il design dei recenti foundation model 3D come VGGT, che prevedono in un solo passaggio le telecamere e la geometria per un insieme di immagini, e lo rende causale perché possa funzionare su un flusso. Una backbone per immagini DINOv2 alimenta un Transformer che alterna l'attenzione all'interno di ogni fotogramma con la Geometric Context Attention tra i fotogrammi. Questa attenzione mantiene tre tipi di memoria: alcuni fotogrammi di ancoraggio dall'inizio, che fissano il sistema di coordinate e la scala; una finestra scorrevole di fotogrammi recenti per la geometria locale densa; e una memoria compatta della traiettoria per fotogramma che riassume tutto ciò che è più vecchio per limitare la deriva. Poiché lo stato resta piccolo, il costo per fotogramma rimane quasi costante man mano che la sequenza cresce. L'implementazione in streaming usa una cache chiave-valore paginata tramite FlashInfer, con un fallback in PyTorch puro.

Il repository include una demo interattiva che trasmette una cartella di immagini o fotogrammi video in un visualizzatore nel browser (viser), un renderer offline per sequenze lunghe, modalità a keyframe e a finestra per esecuzioni oltre i circa 3.000 fotogrammi, il mascheramento del cielo per le scene all'aperto e gli script di valutazione per i benchmark dell'articolo, tra cui KITTI, Oxford Spires, TUM ed ETH3D. Sono pubblicati tre checkpoint: il modello bilanciato usato nell'articolo, un modello per sequenze lunghe e il checkpoint dello stage 1, che si carica in VGGT per la ricostruzione offline e bidirezionale.

Il modello è stato addestrato in due fasi su 31 voci di dataset, prima su brevi clip multivista e poi su lunghe traiettorie video, inclusi dati di robot terrestri, aerei e di guida come TartanGround, MidAir, KITTI-360 e Waymo. L'articolo riporta circa due settimane su 64 GPU per la prima fase.

Perché è importante

Un robot che sa dove si trova la sua telecamera e che cosa lo circonda può navigare, mappare e pianificare. Lo SLAM visivo classico ci arriva con tracking e ottimizzazione progettati con cura, che tendono a fallire su scene povere di texture e con movimenti rapidi, mentre i modelli di ricostruzione offline appresi sono precisi ma richiedono l'intero video in anticipo. LingBot-Map è uno dei primi modelli aperti a eseguire la ricostruzione appresa in modo causale, frame per frame, a una velocità utilizzabile su traiettorie lunghe, con pesi sotto una licenza che consente l'uso commerciale. Questo ne fa una soluzione pratica da provare per la mappatura solo con telecamera su un robot o un drone, o per costruire mappe 3D dai log video dei robot.

Il problema che risolve

Ottenere in tempo reale pose della telecamera e geometria 3D densa da una normale telecamera, su traiettorie lunghe, senza una pipeline SLAM costruita a mano e senza attendere l'intero video. I precedenti modelli appresi in streaming andavano alla deriva o rallentavano con l'allungarsi delle sequenze; LingBot-Map mantiene una memoria limitata e così resta veloce e stabile su migliaia di frame.

Punti chiave

• Prevede una posa della telecamera e una mappa di profondità per ogni frame di un video man mano che arriva, usando solo i frame passati
• Circa 20 FPS a 518 × 378 su una NVIDIA H800 e circa 12 FPS su una RTX 4090, secondo l'articolo, su sequenze di oltre 10.000 frame
• Memoria limitata: frame di ancoraggio, una finestra scorrevole e una memoria compatta della traiettoria mantengono quasi costante il costo per frame
• Il codice e tutti e tre i checkpoint sono Apache-2.0, basati su un backbone DINOv2
• Include una demo con visualizzatore nel browser, modalità per sequenze lunghe e a finestre, e script di benchmark per KITTI, Oxford Spires e altri
• Da Robbyant, il laboratorio dietro LingBot-VLA e LingBot-VA

A chi si rivolge

• Ingegneri robotici che vogliono mappatura o odometria solo con telecamera per un robot su ruote, un robot con gambe o un drone
• Ricercatori che confrontano la ricostruzione appresa con lo SLAM visivo classico
• Team che costruiscono mappe 3D da video registrati di robot o veicoli
• Chiunque abbia bisogno di traiettorie della telecamera e profondità dai video per addestramento o simulazione a valle

Limiti

• Richiede una GPU NVIDIA potente: i 20 FPS dell'articolo sono su una H800, circa 12 FPS su una RTX 4090, e ogni checkpoint occupa circa 4,6 GB
• Nessuna chiusura dei loop esplicita né ottimizzazione al momento del test, quindi la deriva può ancora accumularsi su percorsi molto lunghi o ripercorsi
• Oltre l'intervallo di addestramento, le esecuzioni lunghe richiedono la modalità a keyframe o a finestre, che azzera lo stato tra le finestre e aggiunge deriva
• Per ora solo telecamera monoculare: nessun input da unità di misura inerziale (IMU), LiDAR o stereo, e nessuna gestione della distorsione dell'obiettivo
• È un modello di ricostruzione, non uno stack robotico completo: non c'è integrazione con ROS né rilocalizzazione rispetto a una mappa precedente, anche se le ricostruzioni si possono esportare come GLB
• I pesi sono Apache-2.0, ma il mix di addestramento include dataset accademici con proprie condizioni non commerciali, come ScanNet e Waymo