Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

LingBot-Map

单目相机流式三维重建：实时给出每一帧的相机位姿和深度

许可证

Apache 2.0

代码和模型权重：Apache-2.0（仓库的 LICENSE.txt 及 Hugging Face 模型卡）。主干网络由 DINOv2（Apache-2.0）初始化。训练数据组合包含带有各自条款的学术数据集，其中部分为非商业用途（例如 ScanNet 和 Waymo Open Dataset）；尽管如此，作者仍以 Apache-2.0 发布权重。核查日期：2026-10-23。

概述

LingBot-Map 是蚂蚁集团旗下具身智能实验室 Robbyant 推出的前馈式模型，可在视频流到达的同时，用一台移动的单目相机对场景进行三维重建。对每一个新帧，它只利用已经看到的帧来预测相机位姿和深度图，因此相机轨迹和稠密点云会实时累积起来，效果类似视觉 SLAM 系统，但不需要手工设计的跟踪、特征匹配或光束法平差。代码和权重均以 Apache-2.0 许可发布在 lingbot-map 仓库中，检查点托管在 Hugging Face，相关工作见技术报告和一篇 ECCV 2026 论文。论文报告，在 518 × 378 像素输入下，NVIDIA H800 上约 20 FPS，RTX 4090 上约 12 FPS，序列长度可超过 10,000 帧。它与 LingBot-VLA 和 LingBot-VA 出自同一实验室。

LingBot-Map 沿用了 VGGT 等近期三维基础模型的设计——这类模型一次性为一组图像预测相机和几何——并将其改为因果结构，使之能够处理视频流。DINOv2 图像主干网络为一个 Transformer 提供特征，该网络在帧内注意力与跨帧的几何上下文注意力（Geometric Context Attention）之间交替。这种注意力维护三类记忆：开头的少量锚帧，用于固定坐标系和尺度；最近帧的滑动窗口，用于稠密的局部几何；以及紧凑的逐帧轨迹记忆，概括更早的全部历史以抑制漂移。由于状态始终很小，随着序列变长，每帧的计算成本几乎保持不变。流式实现通过 FlashInfer 使用分页键值缓存，也可退回到普通 PyTorch 实现。

仓库提供：一个交互式演示，可将图像文件夹或视频帧流式送入浏览器查看器（viser）；用于长序列的离线渲染器；适用于约 3,000 帧以上运行的关键帧模式和窗口模式；户外场景的天空遮罩；以及论文中各项基准的评测脚本，包括 KITTI、Oxford Spires、TUM 和 ETH3D。共发布三个检查点：论文中使用的均衡模型、一个长序列模型，以及第一阶段检查点——后者可加载到 VGGT 中进行离线双向重建。

模型在 31 个数据集条目上分两个阶段训练：先用短的多视角片段，再用长视频轨迹，其中包括地面机器人、航拍和驾驶数据，如 TartanGround、MidAir、KITTI-360 和 Waymo。论文称第一阶段在 64 块 GPU 上训练约两周。

为何重要

机器人如果知道相机在哪里、周围有什么，就能导航、建图和规划。经典视觉 SLAM 依靠精心设计的跟踪和优化来做到这一点，但在纹理稀少的场景和快速运动下容易失效；而学习式的离线重建模型虽然精度高，却需要事先拿到整段视频。LingBot-Map 是最早一批能逐帧、因果地进行学习式重建的开源模型之一，在长轨迹上保持可用的速度，并且权重采用允许商业使用的许可。这使它成为一个可以直接试用的方案：在机器人或无人机上做纯相机建图，或者从机器人视频日志中构建三维地图。

解决的问题

用普通相机实时获取相机位姿和稠密三维几何，覆盖长轨迹，既不需要手工搭建的 SLAM 流程，也不必等整段视频结束。早期的流式学习模型会随序列变长而漂移或变慢；LingBot-Map 保持有界记忆，因此在数千帧上依然快速稳定。

要点

  • 视频逐帧到达时，仅用过去的帧为每一帧预测相机位姿和深度图
  • 据论文，在 518 × 378 分辨率下，NVIDIA H800 上约 20 FPS，RTX 4090 上约 12 FPS，序列可达 10,000 帧以上
  • 有界记忆：锚帧、滑动窗口和紧凑的轨迹记忆让每帧成本几乎保持不变
  • 代码和全部三个检查点均为 Apache-2.0，基于 DINOv2 主干网络
  • 附带浏览器查看器演示、长序列和窗口模式，以及 KITTI、Oxford Spires 等基准的评测脚本
  • 出自 Robbyant，即 LingBot-VLA 和 LingBot-VA 背后的实验室

适用人群

  • 希望为轮式机器人、足式机器人或无人机实现纯相机建图或里程计的机器人工程师
  • 比较学习式重建与经典视觉 SLAM 的研究人员
  • 从录制的机器人或车辆视频中构建三维地图的团队
  • 需要从视频中获取相机轨迹和深度、用于下游训练或仿真的任何人

局限

  • 需要性能较强的 NVIDIA GPU：论文中的 20 FPS 是在 H800 上测得，RTX 4090 约 12 FPS，每个检查点约 4.6 GB
  • 没有显式回环检测或测试时优化，因此在很长或重复经过的路线上仍可能累积漂移
  • 超出训练范围后，长时间运行需要关键帧或窗口模式，窗口之间会重置状态并带来额外漂移
  • 目前只支持单目相机：没有 IMU、LiDAR 或双目输入，也不处理镜头畸变
  • 它是重建模型，不是完整的机器人软件栈：没有 ROS 集成，也不能在先前的地图中重定位，不过重建结果可以导出为 GLB
  • 权重为 Apache-2.0，但训练数据包含带有自身条款的学术数据集，其中部分为非商业许可，例如 ScanNet 和 Waymo

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。