NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

저자: Arunkumar Byravan, Jan Humplik, Leonard Hasenclever, Arthur Brussee, Francesco Nori, Tuomas Haarnoja, Ben Moran, Steven Bohez, Fereshteh Sadeghi, Bojan Vujatovic, Nicolas Heess · ICRA 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

5-6분 길이의 휴대폰 동영상으로 학습한 NeRF가 MuJoCo 시뮬레이션의 시각 정보와 충돌 메시를 제공하며, 그 안에서 학습한 RGB 전용 휴머노이드 정책이 실제 로봇으로 제로샷 전이된다.

중요한 이유

이 파이프라인은 시판 휴대폰 동영상만으로 쓸 만한 접촉 기하를 갖춘 시각적으로 사실적인 장면을 재현하며, 위치 추정이나 별도의 저수준 제어기 없이 RGB 이미지만으로 전신 이족 제어를 학습한다. 내비게이션 과제에서 실제 로봇의 성공률과 목표 도달 시간은 시뮬레이션과 거의 일치했다.

문제

Sim2real 학습에는 로봇이 실제 장면을 보고 접촉하는 방식과 일치하는 시뮬레이션이 필요하지만, 비정형 장면의 기하와 외관을 모델링하는 일은 느리고, 보통 실외에서 잘 작동하지 않는 특수한 3D 스캔 장비에 의존한다. RGB 카메라는 sim2real 격차가 크기 때문에, 이전의 시각 내비게이션 전이 연구는 깊이 센서나 LiDAR, 위치 추정, 기존 저수준 제어기에 기댔다.

제안 방법

짧은 휴대폰 동영상을 약 1000개의 키프레임으로 나누고 COLMAP으로 위치를 추정한 뒤 NeRF 학습에 사용한다. NeRF는 로봇의 카메라 시점을 렌더링하고, 그 점유도는 마칭 큐브로 충돌 메시로 변환되어 시뮬레이터에 맞게 크기 조정 및 정렬되며, 바닥은 평평한 평면으로 대체된다. MuJoCo가 로봇과 알려진 동적 물체(공)를 시뮬레이션하고 그 렌더링을 NeRF 이미지에 겹치며, DMPO가 비대칭 critic, 도메인 무작위화, 이미지 증강을 사용해 비전 및 고유 감각 기반 순환 정책을 학습한다.

핵심 통찰

• 하나의 NeRF가 물리 시뮬레이션을 위한 사실적인 렌더링과 정적 접촉 기하를 모두 제공하므로, 휴대폰 동영상 하나로 학습 장면을 만들기에 충분하다.
• 알려진 동적 물체(로봇 몸체, 공)의 시뮬레이터 렌더링을 NeRF 이미지에 겹치는 것만으로 테스트한 과제에는 충분하지만, 가림은 처리하지 못한다는 대가가 있다.
• 정확한 센서 및 액추에이터 모델과 제한적인 도메인 무작위화(밀기, 지연, 추가 질량, 관성 측정 장치(IMU) 오프셋)만으로 걸음새가 전이되기에 충분했다.
• 이미지 증강은 카메라 보정을 대신할 수 없다. 내비게이션 정책은 카메라 게인 설정에 매우 민감했다.
• 종단 간 학습한 정책도 장면이 바뀌거나 카메라가 가려졌을 때 안정적인 걸음새를 유지했으며, 이는 이동과 장면 이해가 부분적으로 분리되어 있음을 시사한다.

주요 결과

• 내비게이션, 60x80 입력: 실제 로봇 성공률 87±5%(54회 중 47회) 대 시뮬레이션 86±2%. 중앙값 시간은 실제 11.2±0.4 s 대 시뮬레이션 10.8±0.1 s.
• 내비게이션, 30x40 입력: 실제 로봇 성공률 69±6%(54회 중 37회) 대 시뮬레이션 73±3%. 중앙값 시간은 실제 10.3±0.4 s 대 시뮬레이션 10.3±0.3 s.
• 정책의 자세 추정(belief)의 중앙값 위치 추정 오차: 실제 로봇에서 0.24±0.01 m와 0.27±0.04 m, 시뮬레이션에서 0.17±0.01 m와 0.19±0.004 m(30x40과 60x80).
• 공 밀기, 30x40 입력: 공이 중앙에서 시작할 때 실제 성공률 78±7%, 벽 근처에서 시작할 때 43±14%이며, 시뮬레이션에서는 99%와 100%.
• 카메라 게인을 기본값 50(5회 중 4회 성공)에서 90 또는 128로 바꾸자, 내비게이션 정책은 작은 원을 그리며 걸어 5회 중 0회 성공했다.
• 저해상도 NeRF 렌더링을 위한 블러 증강은 보류 이미지에서 평균 PSNR이 약 31.5 대 약 35.4로 보고되며, 해시 그리드 NeRF는 V100 GPU에서 한 프레임을 6 ms에 렌더링한다.

한계

• 동적 물체는 항상 정적 NeRF 장면 앞에 렌더링되므로 가림이 처리되지 않는다. 더 복잡한 동적 장면에는 합성 NeRF 렌더링이 필요할 것이다.
• 수동 단계가 남아 있다. Blender에서 바닥 점을 고르고, 메시를 정렬하고 크기를 조정하며, 질감이 빈약한 바닥을 평평한 평면으로 대체해야 한다.
• 동영상에서 학습된 정책까지 1-2일이 걸린다(COLMAP 약 3-4시간, 정책 학습은 내비게이션에 약 24시간, 공 밀기에는 그 두 배).
• 접촉이 많은 공 밀기 과제에서는 sim2real 격차가 더 크며, 특히 공이 벽 근처에서 시작할 때 그렇다.
• 온보드 연산(CPU 코어 2개, GPU 없음, 스텝당 25 ms)으로 인해 정책은 30x40과 60x80 이미지로 제한되었고, NeRF가 천장을 잘 포착하지 못해 머리 기울기 범위가 제한되었다.

분야에 미친 영향

ICRA 2023 Outstanding Robot Learning Paper 상 최종 후보에 올랐으며, 인용 수는 80회다. 논문은 동영상이 담긴 프로젝트 웹사이트를 공개하며, 코드 공개는 명시되어 있지 않다.

초록

우리는 사실적인 시각을 가진 '실제 환경(in the wild)' 장면과 RGB 카메라를 이용한 능동 인식에 의존하는 정책에 sim2real 접근법을 적용하는 시스템을 제시한다. 일반 휴대폰으로 수집한 정적 장면의 짧은 동영상이 주어지면, 우리는 신경 방사 필드(NeRF)를 사용해 장면의 접촉 기하와 새로운 시점 합성 함수를 학습한다. 정적 장면의 NeRF 렌더링에 다른 동적 물체(예: 로봇 자신의 몸체, 공)의 렌더링을 겹쳐 보강한다. 그런 다음 정적 장면 기하(NeRF 부피 밀도로부터 추정)와 동적 물체의 기하 및 물리적 특성(알려져 있다고 가정)으로부터 접촉 동역학을 계산하는 물리 시뮬레이터 안에서 이 렌더링 엔진을 사용해 시뮬레이션을 만든다. 우리는 이 시뮬레이션을 사용해, 구동되는 머리 장착 RGB 카메라를 갖춘 20자유도 휴머노이드 로봇을 위한 비전 기반 전신 내비게이션 및 공 밀기 정책을 학습할 수 있음을 보이고, 이 정책들을 실제 로봇으로 성공적으로 전이한다. 프로젝트 동영상은 https://sites.google.com/view/nerf2real/home 에서 볼 수 있다.

링크

• arXiv 2210.04932: https://arxiv.org/abs/2210.04932
• DOI 10.1109/ICRA48891.2023.10161544: https://doi.org/10.1109/ICRA48891.2023.10161544
• PDF: https://arxiv.org/pdf/2210.04932v1
• 프로젝트 페이지: https://sites.google.com/view/nerf2real/home