LingBot-Map

Reconstruction 3D en flux avec une caméra : pose et profondeur de chaque image, en direct

Licence

Apache 2.0

Code et poids du modèle : Apache-2.0 (LICENSE.txt du dépôt et fiche du modèle sur Hugging Face). Le backbone est initialisé à partir de DINOv2 (Apache-2.0). Le mélange d'entraînement comprend des jeux de données académiques soumis à leurs propres conditions, certains non commerciaux (par exemple ScanNet et le Waymo Open Dataset) ; les auteurs publient néanmoins les poids sous Apache-2.0. Vérifié le 2026-10-23.

Aperçu

LingBot-Map est un modèle feed-forward de Robbyant, le laboratoire d'IA incarnée d'Ant Group, qui reconstruit une scène en 3D à partir d'une seule caméra en mouvement, au fil de l'arrivée de la vidéo. Pour chaque nouvelle image, il prédit la pose de la caméra et une carte de profondeur en n'utilisant que les images déjà vues : la trajectoire et un nuage de points dense se construisent ainsi en direct, comme le ferait un système de SLAM visuel, mais sans suivi conçu à la main, appariement de caractéristiques ni ajustement de faisceaux. Le code et les poids sont sous Apache-2.0 dans le dépôt lingbot-map, les checkpoints sur Hugging Face, et le travail est décrit dans un rapport technique et un article à l'ECCV 2026. L'article annonce environ 20 FPS en 518 × 378 pixels sur une NVIDIA H800 et environ 12 FPS sur une RTX 4090, sur des séquences de plus de 10 000 images. Il vient du même laboratoire que LingBot-VLA et LingBot-VA.

LingBot-Map reprend la conception de modèles de fondation 3D récents comme VGGT, qui prédisent caméras et géométrie pour un ensemble d'images en une seule passe, et la rend causale pour qu'elle fonctionne sur un flux. Un backbone d'image DINOv2 alimente un transformer qui alterne l'attention au sein de chaque image et la Geometric Context Attention entre les images. Cette attention conserve trois types de mémoire : quelques images d'ancrage du début, qui fixent le système de coordonnées et l'échelle ; une fenêtre glissante d'images récentes pour la géométrie locale dense ; et une mémoire de trajectoire compacte par image, qui résume tout ce qui est plus ancien pour limiter la dérive. Comme l'état reste petit, le coût par image reste presque constant à mesure que la séquence s'allonge. L'implémentation en flux utilise un cache clé-valeur paginé via FlashInfer, avec un repli en PyTorch pur.

Le dépôt fournit une démo interactive qui envoie un dossier d'images ou d'images vidéo vers un visualiseur dans le navigateur (viser), un moteur de rendu hors ligne pour les longues séquences, des modes par images clés et par fenêtres pour les exécutions au-delà d'environ 3 000 images, un masquage du ciel pour les scènes extérieures, ainsi que les scripts d'évaluation des benchmarks de l'article, dont KITTI, Oxford Spires, TUM et ETH3D. Trois checkpoints sont publiés : le modèle équilibré utilisé dans l'article, un modèle pour les longues séquences et le checkpoint de l'étape 1, qui se charge dans VGGT pour une reconstruction bidirectionnelle hors ligne.

Le modèle a été entraîné en deux étapes sur 31 entrées de jeux de données, d'abord sur de courts clips multivues, puis sur de longues trajectoires vidéo, dont des données de robots terrestres, aériennes et de conduite comme TartanGround, MidAir, KITTI-360 et Waymo. L'article indique environ deux semaines sur 64 GPU pour la première étape.

Pourquoi c'est important

Un robot qui sait où se trouve sa caméra et ce qui l'entoure peut naviguer, cartographier et planifier. Le SLAM visuel classique y parvient grâce à un suivi et une optimisation soigneusement conçus, qui échouent souvent sur les scènes peu texturées et les mouvements rapides ; les modèles de reconstruction appris hors ligne sont précis mais exigent toute la vidéo à l'avance. LingBot-Map est l'un des premiers modèles ouverts à faire de la reconstruction apprise de manière causale, image par image, à une cadence exploitable sur de longues trajectoires, avec des poids sous une licence qui autorise l'usage commercial. C'est donc une option concrète à essayer pour la cartographie par caméra seule sur un robot ou un drone, ou pour construire des cartes 3D à partir de journaux vidéo de robots.

Le problème résolu

Obtenir en temps réel les poses de caméra et une géométrie 3D dense à partir d'une caméra ordinaire, sur de longues trajectoires, sans chaîne SLAM construite à la main et sans attendre la fin de la vidéo. Les précédents modèles appris en flux dérivaient ou ralentissaient à mesure que la séquence s'allongeait ; LingBot-Map conserve une mémoire bornée et reste donc rapide et stable sur des milliers d'images.

Points clés

• Prédit une pose de caméra et une carte de profondeur pour chaque image d'une vidéo à son arrivée, à partir des seules images passées
• Environ 20 FPS en 518 × 378 sur une NVIDIA H800 et environ 12 FPS sur une RTX 4090, selon l'article, sur des séquences de plus de 10 000 images
• Mémoire bornée : images d'ancrage, fenêtre glissante et mémoire de trajectoire compacte maintiennent le coût par image presque constant
• Le code et les trois checkpoints sont sous Apache-2.0, sur un backbone DINOv2
• Livré avec une démo dans le navigateur, des modes longues séquences et par fenêtres, et des scripts de benchmark pour KITTI, Oxford Spires et d'autres
• Par Robbyant, le laboratoire derrière LingBot-VLA et LingBot-VA

Pour qui

• Ingénieurs en robotique qui veulent une cartographie ou une odométrie par caméra seule pour un robot à roues, un robot à pattes ou un drone
• Chercheurs qui comparent la reconstruction apprise au SLAM visuel classique
• Équipes qui construisent des cartes 3D à partir de vidéos enregistrées par des robots ou des véhicules
• Toute personne ayant besoin de trajectoires de caméra et de profondeur issues de vidéos pour un entraînement ou une simulation en aval

Limites

• Nécessite un GPU NVIDIA performant : les 20 FPS de l'article sont mesurés sur une H800, environ 12 FPS sur une RTX 4090, et chaque checkpoint pèse environ 4,6 Go
• Pas de fermeture de boucle explicite ni d'optimisation au moment du test : la dérive peut encore s'accumuler sur des trajets très longs ou repassant aux mêmes endroits
• Au-delà de la plage d'entraînement, les longues exécutions demandent le mode images clés ou par fenêtres, qui réinitialise l'état entre les fenêtres et ajoute de la dérive
• Caméra monoculaire uniquement pour l'instant : pas d'entrée IMU, LiDAR ni stéréo, et pas de prise en charge de la distorsion de l'objectif
• C'est un modèle de reconstruction, pas une pile robotique complète : pas d'intégration ROS ni de relocalisation dans une carte précédente, mais les reconstructions s'exportent en GLB
• Les poids sont sous Apache-2.0, mais le mélange d'entraînement inclut des jeux de données académiques avec leurs propres conditions, certaines non commerciales, comme ScanNet et Waymo