NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

作者: Arunkumar Byravan, Jan Humplik, Leonard Hasenclever, Arthur Brussee, Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi, Bojan Vujatovic, Nicolas Heess · ICRA 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

在一段 5-6 分钟手机视频上训练的 NeRF 为 MuJoCo 仿真提供视觉画面和碰撞网格；在其中训练的仅基于 RGB 的人形机器人策略可零样本迁移到真实机器人。

为何重要

该流程只需一段普通手机视频，即可重建视觉上逼真且具有可用接触几何的场景，并且仅凭 RGB 图像训练全身双足控制，无需定位，也无需单独的底层控制器。在导航任务中，真实机器人上的成功率和到达目标的时间与仿真结果高度吻合。

问题

Sim2real 训练需要仿真与机器人看到和触碰真实场景的方式相匹配，但对非结构化场景的几何和外观建模很慢，而且通常依赖在室外效果不佳的专用 3D 扫描设备。RGB 相机的 sim2real 差距很大，因此早期的视觉导航迁移工作依赖深度传感器或 LiDAR、定位以及现有的底层控制器。

提出的方法

一段简短的手机视频被拆分为约 1000 个关键帧，用 COLMAP 进行定位，并用于训练 NeRF；NeRF 渲染机器人的相机视角，其占据信息通过移动立方体算法转换为碰撞网格，经缩放并与仿真器对齐，地面则替换为一个平面。MuJoCo 仿真机器人和已知的动态物体（一个球），这些物体的渲染叠加在 NeRF 图像上；DMPO 使用非对称 critic、域随机化和图像增强，训练基于视觉和本体感觉的循环策略。

关键见解

单个 NeRF 同时为物理仿真提供照片级真实渲染和静态接触几何，因此一段手机视频就足以构建一个训练场景。
在 NeRF 图像上叠加已知动态物体（机器人身体、球）的仿真器渲染，对所测试的任务已经足够，代价是无法处理遮挡。
准确的传感器和执行器模型，加上有限的域随机化（推力、延迟、附加质量、IMU 偏移），就足以让步态完成迁移。
图像增强无法替代相机标定：导航策略对相机增益设置高度敏感。
端到端训练的策略在场景变化或相机被遮挡时仍能保持稳定步态，这表明移动能力和场景理解在一定程度上是分离的。

主要结果

导航，60x80 输入：真实机器人成功率 87±5%（47/54 回合），仿真为 86±2%；中位时间真实 11.2±0.4 s，仿真 10.8±0.1 s。
导航，30x40 输入：真实机器人成功率 69±6%（37/54 回合），仿真为 73±3%；中位时间真实 10.3±0.4 s，仿真 10.3±0.3 s。
策略位姿估计的中位定位误差：真实机器人上为 0.24±0.01 m 和 0.27±0.04 m，仿真中为 0.17±0.01 m 和 0.19±0.004 m（30x40 和 60x80）。
推球，30x40 输入：球从中央出发时真实成功率 78±7%，球靠近墙壁时为 43±14%，仿真中分别为 99% 和 100%。
将相机增益从默认的 50（5 次中成功 4 次）改为 90 或 128 时，导航策略的试验成功率为 0/5，绕着小圈行走。
针对低分辨率 NeRF 渲染的模糊增强，报告的留出图像平均 PSNR 约为 31.5 对约 35.4；哈希网格 NeRF 在 V100 GPU 上渲染一帧需 6 ms。

局限

动态物体总是渲染在静态 NeRF 场景之前，因此无法处理遮挡；更复杂的动态场景需要组合式 NeRF 渲染。
仍有手动步骤：在 Blender 中选取地面点、对齐和缩放网格，以及用平面替换纹理不佳的地面。
从视频到训练好的策略需要 1-2 天（COLMAP 约 3-4 小时，导航策略训练约 24 小时，推球则是其两倍）。
对于接触丰富的推球任务，sim2real 差距更大，尤其是球从墙边出发时。
机载算力（2 个 CPU 核心，无 GPU，每步 25 ms）将策略限制为 30x40 和 60x80 的图像，并且由于 NeRF 对天花板捕捉不佳，头部俯仰范围受到了限制。

对领域的影响

入围 ICRA 2023 杰出机器人学习论文奖决赛，被引用 80 次。论文发布了带视频的项目网站；未说明是否发布代码。

摘要

我们提出一个系统，将 sim2real 方法应用于具有真实视觉效果的“野外”场景，以及依赖 RGB 相机进行主动感知的策略。给定一段用普通手机拍摄的静态场景短视频，我们使用神经辐射场（NeRF）学习场景的接触几何以及一个用于新视角合成的函数。我们在静态场景的 NeRF 渲染上叠加其他动态物体（例如机器人自身的身体、一个球）的渲染，以此增强 NeRF 渲染。随后，在物理仿真器中使用该渲染引擎构建仿真，由物理仿真器根据静态场景几何（由 NeRF 体密度估计）以及动态物体的几何和物理属性（假定已知）计算接触动力学。我们展示了可以利用该仿真，为一台头部装有可驱动 RGB 相机的 20 自由度人形机器人学习基于视觉的全身导航和推球策略，并成功将这些策略迁移到真实机器人上。项目视频见 https://sites.google.com/view/nerf2real/home。

链接

arXiv 2210.04932: https://arxiv.org/abs/2210.04932
DOI 10.1109/ICRA48891.2023.10161544: https://doi.org/10.1109/ICRA48891.2023.10161544
PDF: https://arxiv.org/pdf/2210.04932v1
项目主页: https://sites.google.com/view/nerf2real/home