LingBot-Map

Streaming-3D-Rekonstruktion mit einer Kamera: Pose und Tiefe für jedes Bild, live

Lizenz

Apache 2.0

Code und Modellgewichte: Apache-2.0 (LICENSE.txt des Repositorys und Hugging-Face-Modellkarte). Das Backbone wird aus DINOv2 (Apache-2.0) initialisiert. Der Trainingsmix umfasst akademische Datensätze mit eigenen Bedingungen, einige davon nicht-kommerziell (zum Beispiel ScanNet und das Waymo Open Dataset); die Autoren veröffentlichen die Gewichte dennoch unter Apache-2.0. Geprüft am 2026-10-23.

Überblick

LingBot-Map ist ein Feed-forward-Modell von Robbyant, dem Embodied-AI-Labor der Ant Group, das eine Szene aus einer einzelnen bewegten Kamera in 3D rekonstruiert, während das Video eintrifft. Für jedes neue Bild sagt es die Pose der Kamera und eine Tiefenkarte voraus und nutzt dabei nur die bereits gesehenen Bilder. So entstehen Trajektorie und eine dichte Punktwolke live, ähnlich wie bei einem visuellen SLAM-System, aber ohne handgebautes Tracking, Feature-Matching oder Bündelausgleich. Code und Gewichte stehen unter Apache-2.0 im lingbot-map-Repository, die Checkpoints liegen auf Hugging Face, beschrieben ist die Arbeit in einem technischen Bericht und einem ECCV-2026-Paper. Laut Paper erreicht es etwa 20 FPS bei 518 × 378 Pixeln auf einer NVIDIA H800 und etwa 12 FPS auf einer RTX 4090, über Sequenzen mit mehr als 10.000 Bildern. Es stammt aus demselben Labor wie LingBot-VLA und LingBot-VA.

LingBot-Map folgt dem Aufbau neuerer 3D-Foundation-Modelle wie VGGT, die Kameras und Geometrie für eine Bildmenge in einem Durchlauf vorhersagen, und macht ihn kausal, damit er auf einem Stream laufen kann. Ein DINOv2-Bild-Backbone speist einen Transformer, der Attention innerhalb jedes Bildes mit Geometric Context Attention über Bilder hinweg abwechselt. Diese Attention hält drei Arten von Gedächtnis: einige Ankerbilder vom Anfang, die Koordinatensystem und Maßstab festlegen; ein gleitendes Fenster der letzten Bilder für dichte lokale Geometrie; und ein kompaktes Trajektoriengedächtnis pro Bild, das alles Ältere zusammenfasst, um Drift zu begrenzen. Weil der Zustand klein bleibt, bleiben die Kosten pro Bild nahezu konstant, während die Sequenz wächst. Die Streaming-Implementierung nutzt einen paged Key-Value-Cache über FlashInfer, mit einem reinen PyTorch-Fallback.

Das Repository enthält eine interaktive Demo, die einen Ordner mit Bildern oder Videobildern in einen Browser-Viewer (viser) streamt, einen Offline-Renderer für lange Sequenzen, Keyframe- und Fenstermodi für Läufe jenseits von etwa 3.000 Bildern, Himmelsmaskierung für Außenszenen sowie die Evaluationsskripte für die Benchmarks des Papers, darunter KITTI, Oxford Spires, TUM und ETH3D. Drei Checkpoints sind veröffentlicht: das ausgewogene Modell aus dem Paper, ein Modell für lange Sequenzen und der Stage-1-Checkpoint, der sich in VGGT für bidirektionale Offline-Rekonstruktion laden lässt.

Trainiert wurde das Modell in zwei Stufen auf 31 Datensatz-Einträgen, zuerst auf kurzen Multi-View-Clips, dann auf langen Videotrajektorien, darunter Bodenroboter-, Luft- und Fahrdaten wie TartanGround, MidAir, KITTI-360 und Waymo. Für die erste Stufe nennt das Paper etwa zwei Wochen auf 64 GPUs.

Warum es wichtig ist

Ein Roboter, der weiß, wo seine Kamera ist und was ihn umgibt, kann navigieren, kartieren und planen. Klassisches visuelles SLAM erreicht das mit sorgfältig konstruiertem Tracking und Optimierung, die bei texturarmen Szenen und schnellen Bewegungen leicht versagen; gelernte Offline-Rekonstruktionsmodelle sind genau, brauchen aber das ganze Video im Voraus. LingBot-Map ist eines der ersten offenen Modelle, die gelernte Rekonstruktion kausal, Bild für Bild, mit brauchbarer Rate über lange Trajektorien leisten – mit Gewichten unter einer Lizenz, die kommerzielle Nutzung erlaubt. Damit ist es ein praktischer Kandidat, um reine Kamera-Kartierung auf einem Roboter oder einer Drohne auszuprobieren oder 3D-Karten aus Roboter-Videologs zu erstellen.

Welches Problem es löst

Kameraposen und dichte 3D-Geometrie aus einer gewöhnlichen Kamera in Echtzeit gewinnen, über lange Trajektorien, ohne handgebaute SLAM-Pipeline und ohne auf das ganze Video zu warten. Frühere gelernte Streaming-Modelle drifteten oder wurden langsamer, je länger die Sequenz wurde; LingBot-Map hält ein begrenztes Gedächtnis und bleibt so über Tausende Bilder schnell und stabil.

Wichtigste Punkte

• Sagt für jedes eintreffende Videobild eine Kamerapose und eine Tiefenkarte voraus und nutzt dabei nur vergangene Bilder
• Laut Paper etwa 20 FPS bei 518 × 378 auf einer NVIDIA H800 und etwa 12 FPS auf einer RTX 4090, über Sequenzen mit mehr als 10.000 Bildern
• Begrenztes Gedächtnis: Ankerbilder, ein gleitendes Fenster und ein kompaktes Trajektoriengedächtnis halten die Kosten pro Bild nahezu konstant
• Code und alle drei Checkpoints stehen unter Apache-2.0, aufgebaut auf einem DINOv2-Backbone
• Mit Browser-Viewer-Demo, Modi für lange Sequenzen und Fenster sowie Benchmark-Skripten für KITTI, Oxford Spires und weitere
• Von Robbyant, dem Labor hinter LingBot-VLA und LingBot-VA

Für wen

• Robotik-Ingenieurinnen und -Ingenieure, die reine Kamera-Kartierung oder Odometrie für einen Radroboter, Laufroboter oder eine Drohne wollen
• Forschende, die gelernte Rekonstruktion mit klassischem visuellem SLAM vergleichen
• Teams, die 3D-Karten aus aufgezeichneten Roboter- oder Fahrzeugvideos erstellen
• Alle, die Kameratrajektorien und Tiefe aus Video für nachgelagertes Training oder Simulation brauchen

Einschränkungen

• Braucht eine leistungsfähige NVIDIA-GPU: Die 20 FPS des Papers gelten für eine H800, auf einer RTX 4090 sind es etwa 12 FPS, und jeder Checkpoint ist etwa 4,6 GB groß
• Kein expliziter Loop-Closure und keine Optimierung zur Testzeit, daher kann sich auf sehr langen oder wiederholt befahrenen Routen weiterhin Drift aufbauen
• Jenseits des trainierten Bereichs brauchen lange Läufe den Keyframe- oder Fenstermodus, der den Zustand zwischen Fenstern zurücksetzt und zusätzliche Drift erzeugt
• Vorerst nur eine Monokamera: kein IMU-, LiDAR- oder Stereo-Eingang und keine Behandlung von Linsenverzeichnung
• Es ist ein Rekonstruktionsmodell, kein vollständiger Roboter-Stack: keine ROS-Integration und keine Relokalisierung in einer früheren Karte, Rekonstruktionen lassen sich aber als GLB exportieren
• Die Gewichte stehen unter Apache-2.0, doch der Trainingsmix enthält akademische Datensätze mit eigenen, teils nicht kommerziellen Bedingungen, etwa ScanNet und Waymo