Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Neural Radiance Field

  • 別名: NeRF, NeRFs, radiance field
  • カテゴリ: Sensing › 3D maps & reconstruction
  • タグ: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

3D の位置と視線方向を色と密度に写像するニューラルなシーン表現で、姿勢付き画像から学習され、シーンの新しい視点をレンダリングできる。

定義

ニューラル放射場（Neural Radiance Field、NeRF）は、ニューラルネットワークで 3D シーンを表現する方法であり、2020 年に Mildenhall らによって提案された。ネットワークは 3D の点と視線方向を入力として受け取り、その点での色と体積密度を出力する。新しいカメラ姿勢から画像をレンダリングするには、各画素を通る光線を飛ばし、光線上の多数のサンプル点でネットワークを評価し、古典的なボリュームレンダリングによって密度で重み付けして色を合成する。

NeRF は、カメラ姿勢が既知のシーン画像の集合から学習される。カメラ姿勢は通常、COLMAP などの Structure from Motion ツールで推定する。学習では、レンダリングした画像が実際の写真と一致するようにネットワークを調整する。レンダリング処理は微分可能なので、写真だけで十分な教師信号となり、3D の正解データは必要ない。入力座標に位置エンコーディングを施すことで、ネットワークは細かな細部を捉えられる。

元の手法は学習もレンダリングも遅かった。後続の研究では、マルチ解像度ハッシュグリッドやボクセルグリッドなどのより高速なシーン表現が導入されて学習時間が数時間から数分に短縮され、NeRF は大規模なシーン、動的なシーン、姿勢が既知でない画像にも拡張された。後に登場した明示的な表現である 3D ガウシアンスプラッティング（3D Gaussian Splatting）が、現在ではリアルタイムレンダリングが必要な場面でよく選ばれる。

ロボティクスにとって、NeRF は普通のカメラから密な形状と見た目を提供する。密度場から深度を読み取れ、色と並行して意味の場や特徴の場を学習でき、表現は任意の点で問い合わせられる。制約としては、姿勢のよくそろった多数の視点が必要なこと、少数の視点からしか見えない領域でアーティファクトが生じること、シーンの変化に合わせてモデルを最新に保つコストが挙げられる。

重要な理由

NeRF により、ロボットは深度センサなしにカメラ画像だけからシーンや物体の詳細な 3D モデルを構築できる。地図作成、物体の再構成、把持計画、シミュレーションに新しいアプローチを開き、知覚とマニピュレーションやナビゲーションを結び付ける研究でよく使われる構成要素となっている。

主な用途

  • カメラ画像からのシーンや物体の 3D 再構成
  • シミュレーションと合成学習データのための新視点レンダリング
  • ナビゲーションと点検のための密な地図作成
  • 農業シーンにおける果実などの物体の位置特定と計数
  • 再構成した形状に基づく把持計画

実際の使われ方

NeRF を使うロボティクスのチームは、通常、手持ちのカメラ、ドローン、あるいはロボット自身のカメラで画像の集合を撮影し、COLMAP またはロボットの運動学からカメラ姿勢を復元し、Nerfstudio などのフレームワークでモデルを学習させる。学習した場はその後オフラインで、たとえばメッシュや点群の抽出、把持計画のための深度のレンダリング、物体の位置特定や計数、シミュレーションや合成データのためのリアルな視点の生成に使われる。従来の地図作成と比べて学習と更新にまだコストがかかるため、NeRF は主に静的なシーンや一度きりの再構成に使われ、チームはその形状を信頼する前に、学習に使わなかった視点から再構成の品質を確認する。

よくある誤解

  • NeRF は 3D メッシュを保存する — 保存するのはネットワークの重みに含まれる連続関数であり、メッシュや点群は後から抽出しなければならない
  • NeRF には深度センサが必要である — カメラ姿勢が既知の普通の RGB 画像から学習される
  • すべての NeRF はリアルタイムでレンダリングできる — 元の定式化は遅く、リアルタイムでの利用は高速化された派生手法や、ガウシアンスプラッティングなどの別の表現に頼る

知っておくべき人

  • 3D 再構成に取り組む知覚エンジニア
  • 実シーンからシミュレーションを構築するロボット学習の研究者
  • 農業や点検のロボティクスのチーム
  • コンピュータビジョンを学ぶ学生

関連技術

  • 3D ガウシアンスプラッティング（3D Gaussian Splatting）
  • COLMAP
  • Structure from Motion
  • Nerfstudio
  • ボリュームレンダリング（Volume Rendering）
  • 符号付き距離場（Signed Distance Field）

関連用語

  • 3D Gaussian Splatting
  • Point Cloud
  • Depth Camera

関連プロジェクト

  • LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
  • Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
  • PCL: Industry-standard C++ library for point cloud processing in robotics perception
  • OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
  • pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
  • OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action

動画

  • NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile

ウィキペディア

  • ニューラル・ラディアンス・フィールド

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。