LingBot-Map

Reconstrucción 3D en streaming con una cámara: pose y profundidad de cada fotograma, en directo

Licencia

Apache 2.0

Código y pesos del modelo: Apache-2.0 (LICENSE.txt del repositorio y model card de Hugging Face). El backbone se inicializa a partir de DINOv2 (Apache-2.0). La mezcla de entrenamiento incluye conjuntos de datos académicos con sus propios términos, algunos no comerciales (por ejemplo, ScanNet y el Waymo Open Dataset); aun así, los autores publican los pesos bajo Apache-2.0. Comprobado el 2026-10-23.

Resumen

LingBot-Map es un modelo feed-forward de Robbyant, el laboratorio de IA corporizada de Ant Group, que reconstruye una escena en 3D a partir de una sola cámara en movimiento a medida que llega el vídeo. Para cada fotograma nuevo predice la pose de la cámara y un mapa de profundidad usando solo los fotogramas que ya ha visto, de modo que la trayectoria y una densa nube de puntos se construyen en directo, como lo haría un sistema de SLAM visual, pero sin seguimiento hecho a mano, emparejamiento de características ni ajuste de haces. El código y los pesos son Apache-2.0 y están en el repositorio lingbot-map, con los checkpoints en Hugging Face; el trabajo se describe en un informe técnico y en un artículo de ECCV 2026. El artículo indica unos 20 FPS a 518 × 378 píxeles en una NVIDIA H800 y unos 12 FPS en una RTX 4090, sobre secuencias de más de 10.000 fotogramas. Procede del mismo laboratorio que LingBot-VLA y LingBot-VA.

LingBot-Map sigue el diseño de modelos fundacionales 3D recientes como VGGT, que predicen cámaras y geometría para un conjunto de imágenes en una sola pasada, y lo hace causal para que pueda funcionar sobre un flujo. Un backbone de imagen DINOv2 alimenta un transformador que alterna atención dentro de cada fotograma con Geometric Context Attention entre fotogramas. Esa atención mantiene tres tipos de memoria: unos pocos fotogramas ancla del inicio, que fijan el sistema de coordenadas y la escala; una ventana deslizante de fotogramas recientes para la geometría local densa; y una memoria de trayectoria compacta por fotograma que resume todo lo anterior para limitar la deriva. Como el estado se mantiene pequeño, el coste por fotograma se mantiene casi constante a medida que crece la secuencia. La implementación en streaming usa una caché clave-valor paginada mediante FlashInfer, con una alternativa en PyTorch puro.

El repositorio incluye una demo interactiva que envía una carpeta de imágenes o fotogramas de vídeo a un visor en el navegador (viser), un renderizador sin conexión para secuencias largas, modos de fotogramas clave y por ventanas para ejecuciones de más de unos 3.000 fotogramas, enmascarado del cielo para escenas exteriores y los scripts de evaluación de los benchmarks del artículo, entre ellos KITTI, Oxford Spires, TUM y ETH3D. Se publican tres checkpoints: el modelo equilibrado usado en el artículo, un modelo para secuencias largas y el checkpoint de la etapa 1, que se carga en VGGT para reconstrucción bidireccional sin conexión.

El modelo se entrenó en dos etapas sobre 31 entradas de conjuntos de datos, primero con clips multivista cortos y después con trayectorias de vídeo largas, incluidos datos de robots terrestres, aéreos y de conducción como TartanGround, MidAir, KITTI-360 y Waymo. El artículo indica unas dos semanas en 64 GPU para la primera etapa.

Por qué importa

Un robot que sabe dónde está su cámara y qué le rodea puede navegar, cartografiar y planificar. El SLAM visual clásico lo consigue con seguimiento y optimización diseñados con cuidado, que suelen fallar en escenas con poca textura y con movimientos rápidos, y los modelos de reconstrucción aprendidos sin conexión son precisos pero necesitan todo el vídeo de antemano. LingBot-Map es uno de los primeros modelos abiertos que hacen reconstrucción aprendida de forma causal, fotograma a fotograma, a una velocidad útil en trayectorias largas, con pesos bajo una licencia que permite el uso comercial. Eso lo convierte en una opción práctica para probar cartografía solo con cámara en un robot o un dron, o para construir mapas 3D a partir de registros de vídeo de robots.

Qué problema resuelve

Obtener poses de cámara y geometría 3D densa a partir de una cámara corriente en tiempo real, en trayectorias largas, sin una cadena de SLAM hecha a mano y sin esperar a tener todo el vídeo. Los modelos de streaming aprendidos anteriores derivaban o se ralentizaban a medida que crecía la secuencia; LingBot-Map mantiene una memoria acotada y por eso sigue siendo rápido y estable durante miles de fotogramas.

Puntos clave

• Predice una pose de cámara y un mapa de profundidad para cada fotograma de un vídeo a medida que llega, usando solo fotogramas pasados
• Unos 20 FPS a 518 × 378 en una NVIDIA H800 y unos 12 FPS en una RTX 4090, según el artículo, en secuencias de más de 10.000 fotogramas
• Memoria acotada: fotogramas ancla, una ventana deslizante y una memoria de trayectoria compacta mantienen casi constante el coste por fotograma
• El código y los tres checkpoints son Apache-2.0, sobre un backbone DINOv2
• Incluye una demo con visor en el navegador, modos para secuencias largas y por ventanas, y scripts de benchmark para KITTI, Oxford Spires y otros
• De Robbyant, el laboratorio detrás de LingBot-VLA y LingBot-VA

Para quién es

• Ingenieros de robótica que quieren cartografía u odometría solo con cámara para un robot con ruedas, un robot con patas o un dron
• Investigadores que comparan la reconstrucción aprendida con el SLAM visual clásico
• Equipos que construyen mapas 3D a partir de vídeo grabado por robots o vehículos
• Cualquiera que necesite trayectorias de cámara y profundidad a partir de vídeo para entrenamiento o simulación posteriores

Limitaciones

• Necesita una GPU NVIDIA potente: los 20 FPS del artículo son en una H800, unos 12 FPS en una RTX 4090, y cada checkpoint ocupa unos 4,6 GB
• No tiene cierre de bucle explícito ni optimización en tiempo de prueba, así que en rutas muy largas o repetidas la deriva aún puede acumularse
• Más allá del rango de entrenamiento, las ejecuciones largas necesitan el modo de fotogramas clave o por ventanas, que reinicia el estado entre ventanas y añade deriva
• Por ahora solo cámara monocular: sin entrada de Unidad de Medición Inercial (IMU), LiDAR ni estéreo, y sin tratamiento de la distorsión de la lente
• Es un modelo de reconstrucción, no una pila robótica completa: no tiene integración con ROS ni relocalización en un mapa anterior, aunque las reconstrucciones se pueden exportar como GLB
• Los pesos son Apache-2.0, pero la mezcla de entrenamiento incluye conjuntos de datos académicos con sus propias condiciones, algunas no comerciales, como ScanNet y Waymo