NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

作者: Arunkumar Byravan, Jan Humplik, Leonard Hasenclever, Arthur Brussee, Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi, Bojan Vujatovic, Nicolas Heess · ICRA 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

以一段 5-6 分鐘手機影片訓練的 NeRF，為 MuJoCo 模擬提供視覺畫面與碰撞網格；在其中訓練、只靠 RGB 的人形機器人策略可零樣本轉移到真實機器人。

為何重要

這套流程只需一段一般手機影片，就能重建視覺逼真且具可用接觸幾何的場景，並只憑 RGB 影像訓練全身雙足控制，不需定位，也不需另外的低階控制器。在導航任務中，真實機器人上的成功率與抵達目標時間都與模擬結果十分接近。

問題

Sim2real 訓練需要模擬與機器人看見和觸碰真實場景的方式相符，但為非結構化場景的幾何與外觀建模很慢，而且通常仰賴在戶外表現不佳的專用 3D 掃描設備。RGB 相機的模擬到現實（sim2real）落差很大，因此先前的視覺導航轉移研究仰賴深度感測器或 LiDAR、定位，以及既有的低階控制器。

提出的方法

一段簡短的手機影片被拆成約 1000 個關鍵影格，以 COLMAP 定位後用來訓練 NeRF；NeRF 算繪出機器人的相機視角，其佔據資訊以行進立方體演算法轉成碰撞網格，經縮放並與模擬器對齊，地面則換成一個平面。MuJoCo 模擬機器人與已知的動態物體（一顆球），其算繪疊加在 NeRF 影像上；DMPO 以非對稱 critic、領域隨機化與影像擴增，訓練以視覺與本體感知為輸入的遞迴策略。

關鍵見解

單一 NeRF 同時為物理模擬提供擬真照片般的算繪與靜態接觸幾何，因此一段手機影片就足以建立訓練場景。
把已知動態物體（機器人身體、球）的模擬器算繪疊加在 NeRF 影像上，對受測任務已經足夠，代價是無法處理遮蔽。
準確的感測器與致動器模型，加上有限的領域隨機化（推力、延遲、附加質量、IMU 偏移），就足以讓步態完成轉移。
影像擴增無法取代相機校正：導航策略對相機增益設定非常敏感。
端到端訓練的策略在場景改變或相機被遮住時仍能維持穩定步態，顯示行走運動與場景理解在某種程度上是分開的。

主要結果

導航，60x80 輸入：真實機器人成功率 87±5%（47/54 回合），模擬為 86±2%；中位時間真實 11.2±0.4 s，模擬 10.8±0.1 s。
導航，30x40 輸入：真實機器人成功率 69±6%（37/54 回合），模擬為 73±3%；中位時間真實 10.3±0.4 s，模擬 10.3±0.3 s。
策略對自身姿態估計的中位定位誤差：真實機器人上為 0.24±0.01 m 與 0.27±0.04 m，模擬中為 0.17±0.01 m 與 0.19±0.004 m（30x40 與 60x80）。
推球，30x40 輸入：球從中央出發時真實成功率 78±7%，球靠近牆邊時為 43±14%，模擬中分別為 99% 與 100%。
把相機增益從預設的 50（5 次成功 4 次）改為 90 或 128 時，導航策略在試驗中成功 0/5，繞著小圈行走。
針對低解析度 NeRF 算繪的模糊擴增，報告的保留影像平均 PSNR 約為 31.5 對約 35.4；雜湊網格 NeRF 在 V100 GPU 上算繪一幀需 6 ms。

限制

動態物體總是算繪在靜態 NeRF 場景之前，因此無法處理遮蔽；更複雜的動態場景需要合成式 NeRF 算繪。
仍有人工步驟：在 Blender 中挑選地面點、對齊與縮放網格，以及用平面取代紋理不佳的地面。
從影片到訓練完成的策略需 1-2 天（COLMAP 約 3-4 小時，導航策略訓練約 24 小時，推球則為其兩倍）。
在接觸豐富的推球任務中，模擬到現實（sim2real）落差較大，尤其是球從牆邊出發時。
機上運算資源（2 個 CPU 核心、無 GPU、每步 25 ms）將策略限制在 30x40 與 60x80 的影像，而且因為 NeRF 對天花板捕捉不佳，頭部俯仰範圍受到限制。

對領域的影響

入圍 ICRA 2023 傑出機器人學習論文獎決選，被引用 80 次。論文釋出了附影片的專案網站；未說明是否釋出程式碼。

摘要

我們提出一套系統，將模擬到現實（sim2real）方法應用於具真實視覺效果的「野外」場景，以及仰賴 RGB 相機進行主動感知的策略。給定一段以一般手機拍攝的靜態場景短片，我們使用神經輻射場（NeRF）學習場景的接觸幾何，以及一個用於新視角合成的函數。我們在靜態場景的 NeRF 算繪上疊加其他動態物體（例如機器人自身的身體、一顆球）的算繪，藉此擴充 NeRF 算繪。接著在物理模擬器中使用此算繪引擎建立模擬，由物理模擬器依據靜態場景幾何（由 NeRF 體密度估計）以及動態物體的幾何與物理性質（假設已知）計算接觸動力學。我們證明可以利用此模擬，為一台頭部裝有可致動 RGB 相機的 20 自由度人形機器人，學習以視覺為基礎的全身導航與推球策略，並成功把這些策略轉移到真實機器人上。專案影片請見 https://sites.google.com/view/nerf2real/home。

連結

arXiv 2210.04932: https://arxiv.org/abs/2210.04932
DOI 10.1109/ICRA48891.2023.10161544: https://doi.org/10.1109/ICRA48891.2023.10161544
PDF: https://arxiv.org/pdf/2210.04932v1
專案頁面: https://sites.google.com/view/nerf2real/home