LingBot-Map

単眼カメラによるストリーミング 3D 再構成：全フレームの姿勢と深度をリアルタイムに

ライセンス

Apache 2.0

コードとモデルの重み：Apache-2.0（リポジトリのLICENSE.txtおよびHugging Faceのモデルカード）。バックボーンはDINOv2（Apache-2.0）から初期化されています。学習データには独自の利用条件を持つ学術データセットが含まれ、その一部は非商用です（例：ScanNet、Waymo Open Dataset）。それにもかかわらず、作者は重みをApache-2.0で公開しています。2026-10-23に確認。

概要

LingBot-Map は、Ant Group の身体性 AI ラボである Robbyant が開発したフィードフォワード型モデルで、移動する単眼カメラ 1 台の映像から、届いたそばからシーンを 3D 再構成します。新しいフレームごとに、すでに見たフレームだけを使ってカメラの姿勢と深度マップを予測するため、軌跡と密な点群がリアルタイムに積み上がっていきます。視覚 SLAM システムに近い働きですが、手作りのトラッキング、特徴点マッチング、バンドル調整は使いません。コードと重みは Apache-2.0 で lingbot-map リポジトリに公開され、チェックポイントは Hugging Face にあります。詳細は技術レポートと ECCV 2026 の論文にまとめられています。論文によると、518 × 378 ピクセルの入力で NVIDIA H800 では約 20 FPS、RTX 4090 では約 12 FPS で、10,000 フレームを超えるシーケンスを処理できます。LingBot-VLA や LingBot-VA と同じラボの成果です。

LingBot-Map は、画像の集合に対してカメラとジオメトリを 1 回の推論で予測する VGGT などの最近の 3D 基盤モデルの設計を踏襲しつつ、それを因果的にしてストリーム上で動かせるようにしたものです。DINOv2 の画像バックボーンがトランスフォーマーに特徴を渡し、このネットワークはフレーム内の注意とフレーム間の Geometric Context Attention を交互に適用します。この注意機構は 3 種類の記憶を保持します。冒頭の数枚のアンカーフレーム（座標系とスケールを固定する）、密な局所ジオメトリのための直近フレームのスライディングウィンドウ、そしてそれより古い履歴をすべて要約してドリフトを抑えるコンパクトなフレームごとの軌跡メモリです。状態が小さく保たれるため、シーケンスが伸びてもフレームあたりのコストはほぼ一定です。ストリーミング実装は FlashInfer によるページ化されたキー・バリューキャッシュを使い、素の PyTorch へのフォールバックも用意されています。

リポジトリには、画像フォルダや動画フレームをブラウザのビューア（viser）にストリーミングするインタラクティブなデモ、長いシーケンス用のオフラインレンダラー、約 3,000 フレームを超える実行のためのキーフレームモードとウィンドウモード、屋外シーン向けの空マスク、そして KITTI、Oxford Spires、TUM、ETH3D など論文のベンチマークの評価スクリプトが含まれます。チェックポイントは 3 種類で、論文で使われたバランス型モデル、長シーケンス用モデル、そして VGGT に読み込んでオフラインの双方向再構成に使えるステージ 1 チェックポイントです。

モデルは 31 のデータセット項目で 2 段階に学習されました。まず短いマルチビュークリップ、次に長い動画軌跡で、地上ロボット、空撮、走行データ（TartanGround、MidAir、KITTI-360、Waymo など）を含みます。論文によると、第 1 段階は 64 基の GPU で約 2 週間かかりました。

重要な理由

カメラの位置と周囲の様子がわかるロボットは、ナビゲーション、地図作成、計画ができます。古典的な視覚 SLAM は丁寧に作り込んだトラッキングと最適化でこれを実現しますが、テクスチャの少ないシーンや速い動きでは破綻しがちです。一方、学習ベースのオフライン再構成モデルは高精度ですが、動画全体を事前に必要とします。LingBot-Map は、学習ベースの再構成をフレームごとに因果的に、長い軌跡でも実用的な速度で行える最初期のオープンモデルの一つで、重みは商用利用を認めるライセンスです。ロボットやドローンでカメラだけの地図作成を試したり、ロボットの動画ログから 3D マップを作ったりするのに、すぐ使える選択肢になります。

解決する課題

普通のカメラから、カメラ姿勢と密な 3D ジオメトリをリアルタイムに、長い軌跡にわたって得ること。手作りの SLAM パイプラインも、動画全体がそろうのを待つことも必要ありません。従来の学習ベースのストリーミングモデルはシーケンスが長くなるとドリフトしたり遅くなったりしましたが、LingBot-Map は有界の記憶を保つため、数千フレームにわたって高速かつ安定です。

主なポイント

• 動画の各フレームが届くたびに、過去のフレームだけを使ってカメラ姿勢と深度マップを予測
• 論文によると 518 × 378 で NVIDIA H800 では約 20 FPS、RTX 4090 では約 12 FPS、10,000 フレーム超のシーケンスに対応
• 有界の記憶：アンカーフレーム、スライディングウィンドウ、コンパクトな軌跡メモリにより、フレームあたりのコストをほぼ一定に保つ
• コードと 3 種類のチェックポイントはすべて Apache-2.0、DINOv2 バックボーンがベース
• ブラウザビューアのデモ、長シーケンス／ウィンドウモード、KITTI や Oxford Spires などのベンチマークスクリプトを同梱
• LingBot-VLA と LingBot-VA を手がけたラボ Robbyant による

対象

• 車輪型ロボット、脚型ロボット、ドローンでカメラのみの地図作成やオドメトリを実現したいロボットエンジニア
• 学習ベースの再構成と古典的な視覚 SLAM を比較する研究者
• 記録済みのロボットや車両の動画から 3D マップを作るチーム
• 下流の学習やシミュレーションのために、動画からカメラ軌跡と深度が必要な人

制限事項

• 高性能な NVIDIA GPU が必要：論文の 20 FPS は H800 での値で、RTX 4090 では約 12 FPS、各チェックポイントは約 4.6 GB
• 明示的なループクロージャやテスト時最適化がないため、非常に長いルートや同じ場所を再訪するルートではドリフトが蓄積しうる
• 学習範囲を超える長時間の実行にはキーフレームモードかウィンドウモードが必要で、ウィンドウ間で状態がリセットされ、ドリフトが増える
• 現時点では単眼カメラのみ：IMU、LiDAR、ステレオ入力はなく、レンズ歪みにも対応していない
• 再構成モデルであって完全なロボットスタックではない：ROS 連携も以前の地図への再位置推定もないが、再構成結果は GLB で書き出せる
• 重みは Apache-2.0 だが、学習データには ScanNet や Waymo など、一部非商用を含む独自条件の学術データセットが含まれる