LingBot-Map

Reconstrução 3D em streaming com uma câmera: pose e profundidade de cada quadro, ao vivo

Licença

Apache 2.0

Código e pesos do modelo: Apache-2.0 (LICENSE.txt do repositório e model card no Hugging Face). O backbone é inicializado a partir do DINOv2 (Apache-2.0). A mistura de treinamento inclui conjuntos de dados acadêmicos com termos próprios, alguns não comerciais (por exemplo, ScanNet e o Waymo Open Dataset); mesmo assim, os autores publicam os pesos sob Apache-2.0. Verificado em 2026-10-23.

Visão geral

O LingBot-Map é um modelo feed-forward da Robbyant, o laboratório de IA incorporada do Ant Group, que reconstrói uma cena em 3D a partir de uma única câmera em movimento, à medida que o vídeo chega. Para cada novo quadro, ele prevê a pose da câmera e um mapa de profundidade usando apenas os quadros que já viu, de modo que a trajetória e uma nuvem de pontos densa vão se formando ao vivo, como faria um sistema de SLAM visual, mas sem rastreamento feito à mão, correspondência de características nem ajuste de feixes. O código e os pesos são Apache-2.0 e estão no repositório lingbot-map, com os checkpoints no Hugging Face; o trabalho é descrito em um relatório técnico e em um artigo da ECCV 2026. O artigo relata cerca de 20 FPS em 518 × 378 pixels em uma NVIDIA H800 e cerca de 12 FPS em uma RTX 4090, em sequências de mais de 10.000 quadros. Vem do mesmo laboratório que o LingBot-VLA e o LingBot-VA.

O LingBot-Map segue o projeto de modelos de fundação 3D recentes como o VGGT, que preveem câmeras e geometria para um conjunto de imagens em uma única passada, e o torna causal para que funcione sobre um fluxo. Um backbone de imagem DINOv2 alimenta um transformador que alterna atenção dentro de cada quadro com Geometric Context Attention entre quadros. Essa atenção mantém três tipos de memória: alguns quadros-âncora do início, que fixam o sistema de coordenadas e a escala; uma janela deslizante de quadros recentes para a geometria local densa; e uma memória de trajetória compacta por quadro, que resume tudo o que é mais antigo para limitar a deriva. Como o estado continua pequeno, o custo por quadro fica quase constante à medida que a sequência cresce. A implementação em streaming usa um cache chave-valor paginado via FlashInfer, com alternativa em PyTorch puro.

O repositório traz uma demo interativa que envia uma pasta de imagens ou quadros de vídeo para um visualizador no navegador (viser), um renderizador offline para sequências longas, modos de quadros-chave e por janelas para execuções acima de cerca de 3.000 quadros, mascaramento do céu para cenas externas e os scripts de avaliação dos benchmarks do artigo, entre eles KITTI, Oxford Spires, TUM e ETH3D. São publicados três checkpoints: o modelo equilibrado usado no artigo, um modelo para sequências longas e o checkpoint da etapa 1, que pode ser carregado no VGGT para reconstrução bidirecional offline.

O modelo foi treinado em duas etapas com 31 entradas de conjuntos de dados, primeiro com clipes curtos de múltiplas vistas e depois com trajetórias longas de vídeo, incluindo dados de robôs terrestres, aéreos e de direção como TartanGround, MidAir, KITTI-360 e Waymo. O artigo informa cerca de duas semanas em 64 GPUs para a primeira etapa.

Por que importa

Um robô que sabe onde está sua câmera e o que há ao redor consegue navegar, mapear e planejar. O SLAM visual clássico chega lá com rastreamento e otimização cuidadosamente projetados, que costumam falhar em cenas com pouca textura e em movimentos rápidos; já os modelos de reconstrução aprendidos offline são precisos, mas exigem o vídeo inteiro de antemão. O LingBot-Map é um dos primeiros modelos abertos a fazer reconstrução aprendida de forma causal, quadro a quadro, em velocidade utilizável em trajetórias longas, com pesos sob uma licença que permite uso comercial. Isso o torna uma opção prática para testar mapeamento só com câmera em um robô ou drone, ou para construir mapas 3D a partir de registros de vídeo de robôs.

Problema que resolve

Obter poses de câmera e geometria 3D densa a partir de uma câmera comum em tempo real, em trajetórias longas, sem um pipeline de SLAM montado à mão e sem esperar o vídeo inteiro. Os modelos de streaming aprendidos anteriores derivavam ou ficavam mais lentos conforme a sequência crescia; o LingBot-Map mantém uma memória limitada e por isso continua rápido e estável ao longo de milhares de quadros.

Pontos principais

• Prevê uma pose de câmera e um mapa de profundidade para cada quadro do vídeo à medida que ele chega, usando apenas quadros passados
• Cerca de 20 FPS em 518 × 378 em uma NVIDIA H800 e cerca de 12 FPS em uma RTX 4090, segundo o artigo, em sequências de mais de 10.000 quadros
• Memória limitada: quadros-âncora, uma janela deslizante e uma memória de trajetória compacta mantêm o custo por quadro quase constante
• O código e os três checkpoints são Apache-2.0, sobre um backbone DINOv2
• Vem com demo em visualizador no navegador, modos para sequências longas e por janelas, e scripts de benchmark para KITTI, Oxford Spires e outros
• Da Robbyant, o laboratório por trás do LingBot-VLA e do LingBot-VA

Para quem é

• Engenheiros de robótica que querem mapeamento ou odometria só com câmera para um robô com rodas, um robô com pernas ou um drone
• Pesquisadores que comparam reconstrução aprendida com SLAM visual clássico
• Equipes que constroem mapas 3D a partir de vídeos gravados por robôs ou veículos
• Qualquer pessoa que precise de trajetórias de câmera e profundidade a partir de vídeo para treinamento ou simulação posteriores

Limitações

• Precisa de uma GPU NVIDIA potente: os 20 FPS do artigo são em uma H800, cerca de 12 FPS em uma RTX 4090, e cada checkpoint tem cerca de 4,6 GB
• Não tem fechamento de loop explícito nem otimização em tempo de teste, então a deriva ainda pode se acumular em rotas muito longas ou que passam de novo pelos mesmos lugares
• Além do alcance do treinamento, execuções longas precisam do modo de quadros-chave ou por janelas, que reinicia o estado entre janelas e acrescenta deriva
• Por enquanto só câmera monocular: sem entrada de IMU, LiDAR ou estéreo, e sem tratamento da distorção da lente
• É um modelo de reconstrução, não uma pilha robótica completa: não há integração com ROS nem relocalização em um mapa anterior, embora as reconstruções possam ser exportadas em GLB
• Os pesos são Apache-2.0, mas a mistura de treinamento inclui conjuntos de dados acadêmicos com termos próprios, alguns não comerciais, como ScanNet e Waymo