Truncated Signed Distance Function
- 別名: TSDF, truncated signed distance field
- カテゴリ: Sensing › 3D maps & reconstruction
- タグ: 3d-reconstruction, mapping, depth-sensing, volumetric, 3d-perception
最も近い表面までの符号付き距離を、その周囲の薄い帯の中でのみ保持するボクセルマップ。多数の深度画像を融合して密な 3D モデルを構築する。
定義
打ち切り符号付き距離関数(truncated signed distance function、TSDF)は、3D 表面をボクセルグリッド上で陰的に表現する。表面近くの各ボクセルは表面までの符号付き距離を保持し、表面の手前(センサーから見て自由空間側)では正、裏側では負となり、表面そのものはゼロ交差である。値は表面の両側数ボクセル分の帯の中に制限、すなわち打ち切られる。どの表面からも遠いボクセルは有用な距離を持たないため、計算が節約され、ノイズを含む計測で遠くの領域が損なわれることも避けられる。
Curless と Levoy(1996)のボリューメトリック融合法が標準的な更新方法を導入した。新しい深度画像ごとに、カメラの視野内にあるすべてのボクセルを画像に投影し、カメラ光線に沿ったボクセルと計測された深度との距離を計算して打ち切り、その結果をボクセルごとの重み付き移動平均に統合する。多数の視点を平均することでセンサーノイズが打ち消され、異なる角度から見えた表面が補完される。KinectFusion(Newcombe ら、2011)は、これを手持ちの深度カメラを用いて GPU 上でリアルタイムに動かせることを示し、その後の InfiniTAM や Voxblox などのシステムは、ボクセルハッシングや表面付近にのみ確保するブロックを用いて、大規模なシーンをメモリに収めている。メッシュはマーチングキューブ法で抽出するか、レンダリングと追跡のためにレイキャスティングでゼロ交差を求める。
TSDF は完全な符号付き距離場と関連はあるが、同じものではない。距離はカメラ光線に沿って測られ、打ち切り帯で切り捨てられるため、表面近くでのみ真のユークリッド距離の近似となり、表面から離れた空間については何も教えてくれない。勾配ベースの軌道最適化器のように、あらゆる場所で最も近い障害物までの距離を必要とするプランナーは、Voxblox が行っているように、通常 TSDF からユークリッド符号付き距離場を計算する。TSDF は主に再構成と融合のための道具であり、完全な距離場はプランニングのための問い合わせ用の構造である。
重要な理由
TSDF 融合は、ノイズを含む深度画像の流れを、きれいで密な 3D モデルに変えるために最も広く使われている方法である。ロボットはこれを使って把持のために物体を再構成し、ナビゲーション用の地図を作り、信頼できる法線をもつメッシュや点群を生成する。
主な用途
- RGB-D カメラや深度カメラによる密な 3D 再構成
- 把持計画のための物体モデルとシーンモデル
- 超小型飛行体と移動ロボットのマッピング
- 衝突判定のためのユークリッド距離場の構築
- デジタルツインやシミュレーション用アセットのためのメッシュ生成
実際の使われ方
手首に深度カメラを取り付けたマニピュレータが、散らかったテーブルの上を短い円弧に沿ってスイープし、約 20 フレームの深度画像を取得する。各フレームのカメラ姿勢は順運動学とハンドアイキャリブレーションから得る。フレームは 3 ~ 5 mm のボクセルと数ボクセル分の打ち切り距離をもつ TSDF に融合され、ゼロ交差が表面法線付きの点群として抽出される。把持プランナーは単一フレームではなくこの融合済みの点群を使うため、遮蔽による穴がなくなり、エッジのノイズも減る。アームのキャリブレーションがずれていると、融合された表面が二重になったりぼやけたりし、これが外部パラメータのキャリブレーションをやり直す必要がある最初の兆候であることが多い。
よくある誤解
- TSDF と符号付き距離場は同じものである — TSDF は表面付近でのみ光線に基づく近似距離を保持し、完全な距離場はあらゆる場所で最も近い表面までの距離を与える
- TSDF 融合は姿勢の誤差を補正する — カメラ姿勢は既知と仮定しており、誤った姿勢は二重になったり、にじんだりした表面を生む
- ボクセルは小さいほど常に良いモデルになる — 非常に小さいボクセルはメモリを消費し、1 つあたりの計測数も減るため、ノイズが増えることがある
知っておくべき人
- 3D 知覚とマッピングのエンジニア
- 把持のためのシーンモデルを構築するマニピュレーションエンジニア
- SLAM と再構成の研究者
- 空中ロボットや移動ロボットのマッピングパイプラインの開発者
関連技術
- KinectFusion
- InfiniTAM
- Voxblox
- Open3D
- マーチングキューブ法(Marching Cubes)
- ボクセルハッシング(Voxel Hashing)
関連用語
関連プロジェクト
- LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
- RTAB-Map: Versatile graph-based SLAM supporting RGB-D, stereo, and LiDAR with real-time operation
- pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
- LeGO-LOAM: Classic lightweight, ground-optimized lidar odometry and mapping baseline (IROS 2018)