Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

LingBot-Map

以單一攝影機進行串流 3D 重建：即時取得每一幀的位姿與深度

授權條款

Apache 2.0

程式碼與模型權重：Apache-2.0（儲存庫的 LICENSE.txt 與 Hugging Face 模型卡）。骨幹以 DINOv2（Apache-2.0）初始化。訓練資料組合包含有各自條款的學術資料集，其中部分為非商業（例如 ScanNet 與 Waymo Open Dataset）；作者仍以 Apache-2.0 釋出權重。查核日期：2026-10-23。

概述

LingBot-Map 是螞蟻集團具身 AI 實驗室 Robbyant 推出的前饋模型，能在影片傳入的同時，以單一移動中的攝影機重建場景的 3D 結構。對每個新影格，它只利用已看過的影格，預測攝影機的位姿與深度圖，因此軌跡與稠密點雲會即時累積，效果近似視覺 SLAM 系統，卻不需要人工打造的追蹤、特徵匹配或光束法平差。程式碼與權重以 Apache-2.0 放在 lingbot-map 儲存庫中，檢查點放在 Hugging Face 上，相關工作則在一份技術報告與一篇 ECCV 2026 論文中說明。論文指出，在 NVIDIA H800 上以 518 × 378 像素約可達 20 FPS，在 RTX 4090 上約 12 FPS，序列長度超過 10,000 幀。它與 LingBot-VLA 和 LingBot-VA 出自同一實驗室。

LingBot-Map 沿用 VGGT 等近期 3D 基礎模型的設計，這類模型能一次為一組影像預測相機與幾何，而 LingBot-Map 把它改為因果式，讓它能在串流上執行。DINOv2 影像骨幹接入一個 Transformer，交替進行每個影格內的注意力與跨影格的 Geometric Context Attention。這種注意力保有三種記憶：開頭的少數錨定影格，用來固定座標系與尺度；最近影格的滑動視窗，提供密集的局部幾何；以及精簡的逐影格軌跡記憶，把更早的一切加以摘要，以限制漂移。由於狀態維持得很小，隨著序列變長，每個影格的成本仍幾乎保持不變。串流實作透過 FlashInfer 使用分頁式鍵值快取，並提供純 PyTorch 的備援方案。

儲存庫附有一個互動式展示，可把一個資料夾的影像或影片影格串流到瀏覽器檢視器（viser）中，另有用於長序列的離線渲染器、適用於超過約 3,000 個影格之執行的關鍵影格模式與視窗模式、用於戶外場景的天空遮罩，以及論文中各項基準測試的評估腳本，包括 KITTI、Oxford Spires、TUM 與 ETH3D。共發布三個檢查點：論文中使用的平衡模型、一個長序列模型，以及第 1 階段（stage-1）檢查點，後者可載入 VGGT 進行離線的雙向重建。

模型以 31 個資料集項目分兩個階段訓練，先用短的多視角片段，再用長的影片軌跡，其中包括地面機器人、空拍與駕駛資料，例如 TartanGround、MidAir、KITTI-360 與 Waymo。論文指出，第一階段在 64 顆 GPU 上花了約兩週。

為何重要

一台知道自己的攝影機在哪裡、周遭有什麼的機器人，就能導航、建圖與規劃。傳統的視覺 SLAM 靠精心設計的追蹤與最佳化達成這一點，但在缺乏紋理的場景與快速運動中容易失效；學習式的離線重建模型雖然準確，卻需要事先取得整段影片。LingBot-Map 是最早一批以因果方式、逐幀進行學習式重建的開放模型之一，在長軌跡上達到可用的速率，而且權重採用允許商業使用的授權。因此，它是值得在機器人或無人機上嘗試、可直接替換的純攝影機建圖方案，也可用來從機器人影片紀錄建立 3D 地圖。

解決的問題

以一般攝影機即時取得攝影機位姿與稠密 3D 幾何，涵蓋長軌跡，既不需要人工打造的 SLAM 流程，也不必等待整段影片。較早的串流式學習模型會隨序列增長而漂移或變慢；LingBot-Map 保持有界記憶，因此在數千幀上依然快速且穩定。

重點

  • 在影片傳入時，只利用過去的影格，為每一幀預測攝影機位姿與深度圖
  • 依論文所述，在 10,000 多幀的序列上，NVIDIA H800 以 518 × 378 約達 20 FPS，RTX 4090 約 12 FPS
  • 有界記憶：錨點影格、滑動視窗與精簡的軌跡記憶，讓每幀成本幾乎保持不變
  • 程式碼與全部三個檢查點皆採用 Apache-2.0，以 DINOv2 骨幹為基礎
  • 附有瀏覽器檢視器示範、長序列與視窗模式，以及 KITTI、Oxford Spires 等基準測試的腳本
  • 出自 Robbyant，也就是 LingBot-VLA 與 LingBot-VA 背後的實驗室

適用對象

  • 想為輪式機器人、足式機器人或無人機實現純攝影機建圖或里程計的機器人工程師
  • 比較學習式重建與傳統視覺 SLAM 的研究人員
  • 從錄製的機器人或車輛影片建立 3D 地圖的團隊
  • 需要從影片取得攝影機軌跡與深度、供下游訓練或模擬使用的人

限制

  • 需要效能足夠的 NVIDIA GPU：論文的 20 FPS 是在 H800 上取得，RTX 4090 約 12 FPS，且每個檢查點約 4.6 GB
  • 沒有明確的迴路閉合或測試時最佳化，因此在極長或重訪的路線上仍可能累積漂移
  • 超出訓練範圍後，長時間執行需要關鍵幀或視窗模式，這會在視窗之間重設狀態並增加漂移
  • 目前只支援單眼攝影機：沒有慣性量測單元（IMU）、光達（LiDAR）或立體輸入，也不處理鏡頭畸變
  • 它是重建模型，而不是完整的機器人堆疊：沒有 ROS 整合，也無法對先前的地圖重新定位，不過重建結果可匯出為 GLB
  • 權重採用 Apache-2.0，但訓練資料組合包含有各自非商業條款的學術資料集，例如 ScanNet 與 Waymo

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。