Forward Dynamics Model

• 다른 이름: forward model, dynamics model, transition model
• 카테고리: Learning & autonomy › RL & simulation
• 태그: dynamics, model-based-control, model-based-rl, simulation, prediction

현재 상태와 가해진 행동이 주어졌을 때 시스템의 상태가 어떻게 변할지 예측하는 모델로, 로봇이 행동하기 전에 그 효과를 시뮬레이션할 수 있게 해 준다.

정의

순동역학 모델(forward dynamics model)은 시스템의 현재 상태와 그 시스템에 가해진 행동으로부터 다음 상태를 예측한다. 간결하게 쓰면, 상태와 행동을 다음 상태 또는 상태의 변화율로 대응시킨다. 이 모델은 "이렇게 하면 무슨 일이 일어날까?"라는 질문에 답하므로, 시뮬레이션, 모델 기반 계획, 모델 기반 강화 학습의 핵심 요소가 된다.

고전 로봇공학에서 순동역학은 정확한 의미를 가진다. 강체 로봇의 관절 위치, 속도, 토크가 주어졌을 때 그 결과로 생기는 관절 가속도를 계산하는 것이다. 이는 질량 행렬과 코리올리 항, 원심력 항, 중력 항을 사용하는 운동 방정식에서 도출되며, articulated body algorithm 같은 알고리즘으로 효율적으로 계산된다. MuJoCo, PyBullet, Drake 같은 물리 시뮬레이터는 이 계산을 중심으로 만들어져 있으며, 이를 시간에 따라 앞으로 적분한다.

로봇 학습에서는 순동역학 모델을 도출하는 대신 데이터로부터 학습하는 경우가 많다. 신경망을 기록된 전이 데이터로 학습시켜 현재 상태와 행동으로부터 다음 상태, 또는 그 잠재 표현을 예측하게 한다. 학습된 모델은 울퉁불퉁한 지형에서의 바퀴 미끄러짐, 케이블이나 천의 변형, 인식 기반 시스템 전체의 응답처럼 손으로 모델링하기 어려운 효과를 포착할 수 있다. 상태가 이미지나 학습된 임베딩일 때는 같은 아이디어를 보통 월드 모델이라고 부른다.

플래너는 행동 시퀀스를 샘플링하거나 최적화하고, 이를 모델로 롤아웃한 뒤 예측된 결과에 점수를 매기는 방식으로 순방향 모델을 사용한다. 주된 약점은 오차 누적이다. 한 단계의 작은 실수가 긴 예측 호라이즌에 걸쳐 커지며, 플래너가 모델의 부정확한 부분을 악용할 수 있다.

중요한 이유

자신의 행동 결과를 예측해 계획하는 로봇이라면 물리에서 도출했든 데이터로 학습했든 순동역학 모델이 필요하다. 그 모델의 정확도가 로봇이 얼마나 먼 앞까지 신뢰성 있게 계획할 수 있는지, 그리고 처음 보는 상황에서 얼마나 안전하게 행동할 수 있는지를 정한다.

주요 응용

• 강체 로봇의 물리 시뮬레이션
• 모델 예측 제어와 샘플링 기반 계획
• 모델 기반 강화 학습
• 거칠거나 변형되는 지형 위의 로봇 운동 예측
• 이미지로부터 계획하는 데 쓰이는 비디오 및 잠재 예측 모델

실제 사례

강체 로봇 암의 경우, 팀은 보통 식별된 질량과 관성을 담은 URDF를 사용해 물리 엔진이나 Pinocchio, Drake 같은 라이브러리에서 순동역학을 가져온다. 혼합 지형 위의 지상 로봇처럼 모델링하기 어려운 시스템에서는 원격 조작 주행이나 자율 주행 중에 상태, 행동, 센서 데이터를 기록하고, 신경망을 학습시켜 미래 상태를 예측하게 한 뒤, 따로 남겨 둔 주행 데이터에서 계획 호라이즌에 걸친 예측 궤적과 실제 궤적을 비교해 검증한다. 학습된 모델은 이후 MPPI 같은 샘플링 기반 제어기에 연결되며, 제어기는 이 모델로 다수의 후보 행동 시퀀스를 롤아웃해 가장 좋은 것을 고른다. 엔지니어는 호라이즌 길이에 따른 예측 오차를 추적하는데, 이것이 제어기가 얼마나 먼 앞까지 유용하게 계획할 수 있는지를 정하기 때문이다.

흔한 오해

• 순동역학과 역동역학은 서로 바꿔 쓸 수 있다 — 순동역학은 행동을 그 결과로 생기는 운동으로 대응시키고, 역동역학은 원하는 운동을 그것을 만들어 내는 행동으로 대응시킨다
• 한 단계를 잘 예측하는 모델은 계획도 잘한다 — 오차는 여러 단계 롤아웃에 걸쳐 누적되며, 플래너는 모델의 부정확성을 악용할 수 있다
• 순동역학 모델은 항상 학습된다 — 고전 로봇공학에서는 로봇의 운동 방정식으로부터 해석적으로 도출된다

알아야 할 사람

• 모델 기반 제어 및 계획 엔지니어
• 모델 기반 강화 학습(RL)과 월드 모델을 연구하는 로봇 학습 연구자
• 시뮬레이션 개발자
• 지형 상호작용을 모델링하는 필드 로보틱스 팀

관련 기술

• MuJoCo
• Pinocchio
• Drake
• Model Predictive Path Integral (MPPI)
• Articulated Body Algorithm
• 월드 모델(World Model)

관련 용어

• World Model
• Inverse Dynamics Model
• Model Predictive Control

관련 프로젝트

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment
• NVIDIA Isaac Sim: NVIDIA Omniverse app for AI-driven robot simulation and testing