Neural Radiance Field

• 又称: NeRF, NeRFs, radiance field
• 类别: Sensing › 3D maps & reconstruction
• 标签: 3d-reconstruction, computer-vision, neural-rendering, perception, deep-learning

一种神经场景表示，把 3D 位置和观察方向映射为颜色和密度，从带位姿的图像中训练得到，从而可以渲染场景的新视图。

定义

神经辐射场（Neural Radiance Field，NeRF）是一种用神经网络表示 3D 场景的方法，由 Mildenhall 等人于 2020 年提出。该网络以一个 3D 点和一个观察方向作为输入，输出该点处的颜色和体密度。要从新的相机位姿渲染图像，就让一条光线穿过每个像素，在光线上的许多采样点处对网络求值，再用经典的体渲染按密度加权合成颜色。

NeRF 从一组已知相机位姿的场景图像中训练得到，相机位姿通常用 COLMAP 等运动恢复结构工具估计。训练会调整网络，使渲染出的图像与真实照片相符。由于渲染过程是可微的，仅靠照片就能提供足够的监督；不需要任何 3D 真值。对输入坐标进行位置编码，使网络能够捕捉精细的细节。

原始方法的训练和渲染都很慢。后续工作引入了更快的场景表示，例如多分辨率哈希网格和体素网格，把训练时间从数小时缩短到数分钟，并把 NeRF 扩展到大型场景、动态场景以及没有已知位姿的图像。3D 高斯泼溅（3D Gaussian Splatting）是一种后来出现的显式表示，如今在需要实时渲染的场合常被选用。

对机器人领域而言，NeRF 能用普通相机提供稠密的几何和外观。深度可以从密度场中读出，语义场或特征场可以与颜色一起学习，而且该表示可以在任意点处查询。其局限包括需要许多位姿良好的视图、在只从少数视点看到的区域会出现伪影，以及随场景变化保持模型更新的成本。

为何重要

NeRF 让机器人仅凭相机图像、无需深度传感器，就能构建场景和物体的精细 3D 模型。它们为建图、物体重建、抓取规划和仿真开辟了新途径，也是把感知与操作和导航联系起来的研究中常见的基础构件。

主要应用

• 根据相机图像对场景和物体进行 3D 重建
• 为仿真和合成训练数据渲染新视角
• 用于导航和检测的稠密建图
• 在农业场景中定位和计数水果等物体
• 基于重建几何的抓取规划

实际应用

使用 NeRF 的机器人团队通常用手持相机、无人机或机器人自身的相机拍摄一组图像，用 COLMAP 或根据机器人的运动学恢复相机位姿，并用 Nerfstudio 等框架训练模型。训练好的场随后被离线使用，例如提取网格或点云、为抓取规划渲染深度、定位或计数物体，或为仿真和合成数据生成逼真的视图。由于与传统建图相比，训练和更新仍然成本较高，NeRF 主要用于静态场景或一次性重建；团队在信任其几何之前，会从训练中未使用过的视点检查重建质量。

常见误解

• NeRF 存储的是 3D 网格 — 它在网络权重中存储一个连续函数；网格或点云必须事后提取
• NeRF 需要深度传感器 — 它们由已知相机位姿的普通 RGB 图像训练得到
• 所有 NeRF 都能实时渲染 — 原始表述很慢；实时使用依赖于加速变体或高斯泼溅等其他表示

谁需要了解

• 从事 3D 重建的感知工程师
• 根据真实场景构建仿真的机器人学习研究人员
• 农业和检测机器人团队
• 计算机视觉专业的学生

相关技术

• 3D 高斯泼溅（3D Gaussian Splatting）
• COLMAP
• 运动恢复结构（Structure from Motion）
• Nerfstudio
• 体渲染（Volume Rendering）
• 有符号距离场（Signed Distance Field）

相关术语

• 3D Gaussian Splatting
• Point Cloud
• Depth Camera

相关项目

• LingBot-Map: Streaming 3D reconstruction from one camera: pose and depth for every frame, live
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• OpenDroneMap: Open-source photogrammetry toolkit that turns drone images into maps and 3D models
• pySLAM: Hybrid Python/C++ visual SLAM pipeline with classic and deep-learning front-ends
• OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action

视频

• NERFs (No, not that kind) - Neural Radiance Fields - Computerphile: Computerphile