PACE Sim2Real

액추에이터 동역학 식별을 통한 체계적인 sim-to-real 전이

라이선스

Apache-2.0

개요

PACE(Precise Adaptation through Continuous Evolution)는 ETH 취리히 Robotic Systems Lab이 만든 체계적인 프레임워크로, 액추에이터와 관절 동역학을 식별해 보행 로봇의 sim-to-real 전이를 개선합니다. 표준 관절 엔코더만으로 모터 동역학, 마찰, 감쇠, 관절 컴플라이언스 등 현실 격차를 가장 흔히 일으키는 파라미터를 식별합니다. 하드웨어에 구애받지 않는 방식이며 여러 사족 보행 플랫폼에서 검증되었고, sim-to-real 성능 저하를 크게 줄입니다.

PACE(Precise Adaptation through Continuous Evolution)는 ETH Zurich Robotic Systems Lab이 만든 프레임워크로, 보행 로봇의 sim-to-real 격차 문제를 다룹니다. 표준 관절 인코더만으로 액추에이터와 관절 동역학 파라미터를 체계적으로 식별한 뒤, 그 파라미터로 더 충실한 시뮬레이션을 만듭니다.

핵심 방법은 데이터 기반 시스템 식별과 CMA-ES 진화 최적화를 결합하는 것입니다. 실제 하드웨어에서 간단한 동작 궤적을 기록하면, PACE는 마찰, 감쇠, 액추에이터 응답 특성 같은 물리적으로 의미 있는 파라미터를 학습합니다. 이 파라미터를 NVIDIA Isaac Lab의 시뮬레이션 환경에 적용하면 정책 전이가 크게 향상됩니다.

PACE는 ANYmal을 비롯한 실제 4족 보행 로봇 플랫폼에서 검증되었으며, RL로 학습한 정책을 시뮬레이션에서 하드웨어로 옮길 때 보행 성능이 측정 가능하게 향상됨을 보여 주었습니다. 이 프레임워크는 플랫폼에 구애받지 않도록 설계되어 다양한 로봇 구성과 액추에이터 유형을 지원합니다.

중요한 이유

PACE는 학습된 보행 정책을 배포할 때 가장 큰 병목 중 하나인 시뮬레이션과 실제 하드웨어 사이의 현실 격차를 다룹니다. 표준 관절 인코더만으로 액추에이터 동역학을 식별하는 체계적인 데이터 기반 방법을 제공하여, 값비싼 센서 장비 없이도 고충실도 sim-to-real 전이를 가능하게 합니다.

해결하는 문제

시뮬레이션에서 학습한 강화 학습 정책은 시뮬레이터가 액추에이터 동역학, 마찰, 관절 거동을 제대로 모델링하지 못해 실제 로봇에서 실패하는 경우가 많습니다. PACE는 실제 하드웨어 데이터로부터 물리적으로 의미 있는 동역학 파라미터를 학습한 뒤 이를 시뮬레이션에 다시 적용하여 전이 충실도를 크게 높임으로써 이 문제를 해결합니다.

핵심 요점

• CMA-ES 진화 최적화로 액추에이터와 관절 동역학 파라미터를 식별
• 표준 관절 인코더만 필요 — 추가 센서 불필요
• NVIDIA Isaac Lab과 직접 통합되어 매끄러운 sim-to-real 워크플로 제공
• 여러 로봇 플랫폼과 액추에이터 유형을 기본 지원
• ETH Zurich Robotic Systems Lab이 실제 4족 보행 로봇에서 개발·검증

대상

• 보행과 sim-to-real 전이를 연구하는 보행 로봇 연구자
• 시뮬레이션에서 학습한 정책을 실제 로봇에 배포하는 RL 실무자
• 시뮬레이션 충실도를 위해 정확한 액추에이터 모델이 필요한 로보틱스 엔지니어
• sim-to-real 파이프라인을 개선하려는 NVIDIA Isaac Lab 사용자

한계

• 모든 기능을 쓰려면 NVIDIA Isaac Lab(및 Isaac Sim 5.0 이상)이 필요함
• 현재 보행 로봇에 집중되어 있으며 다른 유형의 로봇에 대한 적용성은 검증되지 않음
• Isaac Sim의 GPU 요구 사항 때문에 일반 소비자용 하드웨어에서는 사용이 제한될 수 있음
• 파라미터 식별을 위해 먼저 실제 하드웨어의 동작 데이터를 수집해야 함