Neural Implicit Representation

• 別名: neural field, implicit neural representation, INR, coordinate-based network
• カテゴリ: Sensing › 3D maps & reconstruction
• タグ: 3d-representation, neural-fields, mapping, deep-learning, slam

形状、シーン、地図を、空間座標を占有、符号付き距離、密度、色などの値に写像するニューラルネットワークとして保存し、任意の点で問い合わせられるようにする方法。

定義

ニューラル暗黙的表現（Neural implicit representation）は、形状を点、ボクセル、メッシュとして明示的に保存する代わりに、関数を保存する。ネットワーク（多くの場合は多層パーセプトロン、MLP）が 3D 座標を、ときには視線方向や潜在コードとともに受け取り、その点での値を返す。占有確率（Occupancy Networks）、符号付き距離（DeepSDF）、あるいは体積密度と色（NeRF）である。表面は暗黙的であり、符号付き距離のゼロレベルのように関数の等値集合として定義され、ボリュームレンダリングやスフィアトレーシングで描画することも、マーチングキューブ法でメッシュとして取り出すこともできる。

この表現は連続的なので任意の解像度で問い合わせることができ、メモリはシーンの体積に直接ではなくモデルの大きさに依存し、微分可能なので、レンダリング損失を通じて深度、LiDAR、画像から学習できる。素の MLP は細部の表現が苦手で、学習も問い合わせも遅い。位置エンコーディングは細部の表現を助け、ハイブリッド表現は、密または疎なボクセルグリッドや Instant-NGP の多重解像度ハッシュグリッドのようなグリッドに学習した特徴を保存し、それを小さなネットワークでデコードすることで、メモリと引き換えに速度と細部を得る。

ロボティクスでは、ニューラル暗黙的地図は、RGB-D 入力向けの iMAP や NICE-SLAM、LiDAR 向けの LONER といった SLAM システムで使われ、センサの姿勢を追跡しながら地図ネットワークをオンラインで最適化する。また、把持のための物体モデルや、計画のための距離の問い合わせにも使われる。コストは現実的なものである。シーンごとに学習が必要であり、過去のキーフレームをリプレイしない限り、逐次的な学習は以前の領域を忘れることがあり、多数の点の評価は表の参照より遅い。3D ガウシアンスプラッティングのような明示的な代替手法は、連続性を一部あきらめる代わりに、はるかに高速なレンダリングを得る。

重要な理由

ニューラル暗黙的表現は、多くの観測を融合して小さな欠けを埋める、コンパクトで連続的かつ微分可能な地図を与える。学習ベースのマッピング、レンダリング、計画が 1 つの世界モデルを共有できるようにするため、SLAM、マニピュレーション、シミュレーションの研究のいたるところに登場する。

主な用途

• LiDAR や RGB-D センサによる密な SLAM とマッピング
• 把持計画のための物体形状モデル
• シミュレーションとデータ生成のための新規視点合成
• 動作計画のための距離と衝突の問い合わせ
• 部分的な観測からの形状補完

実際の使われ方

ある LiDAR SLAM システムは、地図を特徴グリッドと、密度を予測する小さな MLP デコーダで表す。新しいスキャンのたびにレイが得られ、システムはその一部のレイに沿って点をサンプリングし、予測した密度からレンダリングした深度が計測した距離に一致するように地図を学習しながら、スキャンの姿勢を推定する。学習中は過去のキーフレームの集合をリプレイし、地図の古い部分が上書きされないようにする。マッピングが終わった後は、場をグリッド上で評価し、点検のためにマーチングキューブ法でメッシュ化するか、計画中に距離を直接問い合わせる。

よくある誤解

• ニューラル暗黙的地図には明示的な構造がない — ほとんどのリアルタイムシステムは特徴グリッドやハッシュテーブルを小さなネットワークと組み合わせているので、メモリはやはりシーンの大きさとともに増える
• 暗黙的な表面はメッシュに変換できない — 等値集合なので、選んだ任意の解像度でマーチングキューブ法により取り出せる
• ニューラル暗黙的表現は NeRF と同じものである — NeRF は密度と色を予測する 1 つの例にすぎず、占有ネットワークや符号付き距離ネットワークも別の例である
• 連続的であれば細部は無制限である — 細部はモデルの容量、入力のエンコーディング、学習データによって制限される

知っておくべき人

• SLAM とマッピングのエンジニア
• 3D ビジョンの研究者
• 学習済みの物体モデルを使うマニピュレーションの研究者
• シーン再構成を構築するシミュレーションエンジニア

関連技術

• NeRF
• DeepSDF
• 占有ネットワーク（Occupancy Networks）
• Instant-NGP
• NICE-SLAM
• 3D ガウシアンスプラッティング（3D Gaussian Splatting）

関連用語

• Signed Distance Field
• Neural Radiance Field
• 3D Gaussian Splatting
• SLAM
• Keyframe
• Marching Cubes

関連プロジェクト

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• oomwoo: Open-source DIY robot vacuum: 3D-printed, ROS2 + 2D LiDAR, fully local.
• Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

動画

• Computer Vision - Lecture 9.1 (Coordinate-based Networks: Implicit Neural Representations): Tübingen Machine Learning