Differentiable Simulation

• 다른 이름: differentiable physics, differentiable simulator, differentiable dynamics
• 카테고리: Software & tooling › Simulation & twins
• 태그: simulation, automatic-differentiation, system-identification, trajectory-optimization, sim-to-real, physics-engine

입력과 파라미터에 대한 출력의 기울기를 계산할 수 있는 물리 시뮬레이션으로, 로봇 제어기, 설계, 모델을 경사 하강법으로 직접 최적화할 수 있게 한다.

정의

미분 가능 시뮬레이션(differentiable simulation)은 그것을 통과해 미분을 계산할 수 있도록 작성된 물리 시뮬레이션이다. 일반적인 시뮬레이터는 상태, 제어 입력, 물리 파라미터를 받아 다음 상태를 반환한다. 미분 가능 시뮬레이터는 여기에 더해, 그 다음 상태나 시뮬레이션된 궤적 전체로부터 계산되는 어떤 양이 그 입력들에 대해 어떻게 변하는지도 반환한다. 기울기는 보통 JAX, PyTorch, NVIDIA Warp 같은 프레임워크의 자동 미분으로 얻거나, 동역학 방정식의 해석적 미분으로 얻는다.

물리를 관통하는 기울기는 여러 용도를 열어 준다. 궤적 최적화에서는 시뮬레이션된 롤아웃을 통과하는 비용의 기울기를 따라 제어 시퀀스를 개선할 수 있다. 정책 학습에서는 해석적 정책 기울기가 작업 손실을 시뮬레이터를 거쳐 정책 신경망으로 역전파하며, 이는 보상만으로 기울기를 추정하는 강화 학습 방법보다 훨씬 적은 샘플로 충분할 수 있다. 시스템 식별에서는 질량, 마찰, 강성 같은 파라미터를 실제 측정값에 맞추고, 공동 설계(co-design)에서는 로봇의 치수를 제어기와 함께 최적화한다.

로봇공학은 접촉 때문에 미분 가능 물리에 까다로운 환경이다. 충격과 마찰은 불연속성과 강성(stiff) 동역학을 만들어 내므로, 실제 기울기가 0이거나 정의되지 않거나 오해를 낳을 수 있다. 시뮬레이터는 평활화된 접촉 모델이나 소프트 접촉 모델, 컴플라이언트한 페널티 힘을 쓰거나, 접촉을 해결하는 데 쓰이는 최적화 문제를 통과해 미분하는 방식으로 이를 처리한다. 각 선택은 물리적 정확도와 기울기 품질을 맞바꾼다. 긴 롤아웃은 두 번째 문제를 더한다. 많은 타임스텝에 걸쳐 기울기가 폭발하거나 소실될 수 있고, 기울기가 존재하더라도 최적화 지형이 울퉁불퉁할 수 있다.

미분 가능 시뮬레이션은 흔히 학습된 구성 요소와 결합된다. 신경망이 액추에이터 거동이나 연성체 변형처럼 유도하기 어려운 동역학 부분을 모델링하고 나머지 시뮬레이터는 물리 기반으로 유지하면서, 전체 시스템을 종단 간(end-to-end)으로 학습시킬 수 있다. 미분 가능 렌더링은 기울기가 카메라 이미지에서 장면 파라미터로 거꾸로 흐르게 한다. 사용 가능한 도구로는 MuJoCo MJX, Brax, NVIDIA Warp가 있다.

중요한 이유

기울기를 쓰면 최적화가 시뮬레이터를 블랙박스로 취급하는 대신 물리의 구조를 활용할 수 있어, 학습, 캘리브레이션, 설계의 데이터 효율을 크게 높일 수 있다. 미분 가능 시뮬레이션은 시뮬레이터를 실제 하드웨어에 맞추는 실용적인 방법이기도 하며, 시뮬레이션과 실제 거동 사이의 격차를 좁힌다.

주요 응용

• 시스템 식별 — 로봇과 물체의 물리 파라미터를 측정 데이터에 맞춤
• 궤적 최적화 — 시뮬레이션된 동역학을 통과하는 경사 하강법으로 제어 시퀀스를 다듬음
• 정책 학습 — 시뮬레이터를 통과하는 해석적 기울기로 제어기를 학습
• 소프트 로봇 모델링 — 변형체 시뮬레이션을 실제 하드웨어에 맞춰 캘리브레이션
• 로봇 공동 설계 — 기계적 파라미터를 제어기와 함께 최적화

실제 사례

미분 가능 시뮬레이션을 사용하는 팀은 먼저 로봇에서 동작과 관절 토크 데이터를 기록한 다음, 시뮬레이션된 궤적과 측정된 궤적의 차이를 경사 하강법으로 최소화하여 마찰, 감쇠, 질량 파라미터를 맞출 수 있다. 캘리브레이션된 모델로는 짧은 시뮬레이션 롤아웃을 통해 작업 손실을 역전파하여 궤적을 최적화하거나 정책을 학습시킬 수 있으며, 기울기를 안정적으로 유지하기 위해 지평을 잘라 내거나 해석적 기울기를 강화 학습과 섞는 경우가 많다. 팀은 예를 들어 유한 차분과 비교하는 방식으로 기울기 품질을 꼼꼼히 확인하고 접촉 설정에 주의를 기울이는데, 매끄러운 기울기를 위해 고른 소프트 접촉 파라미터가 시뮬레이션을 실제 로봇에 덜 충실하게 만들 수 있기 때문이다.

흔한 오해

• 미분 가능 시뮬레이션은 항상 강화 학습보다 나은 기울기를 준다 — 접촉 불연속성과 긴 지평 때문에 해석적 기울기가 노이즈가 많거나 오해를 낳을 수 있다
• 어떤 시뮬레이터든 자동 미분으로 감싸면 미분 가능해진다 — 매끄럽지 않은 접촉 처리, 분기 코드, 반복 솔버는 유용한 기울기를 얻기 위해 특별한 처리가 필요하다
• 미분 가능하다는 것은 더 정확하다는 뜻이다 — 미분 가능성은 미분을 계산하는 것에 관한 것이며, 좋은 기울기를 위한 평활화는 물리적 정확도를 떨어뜨릴 수 있다

알아야 할 사람

• 모델 기반 제어와 학습을 연구하는 로봇 학습 연구자
• 물리 엔진을 만드는 시뮬레이션 엔지니어
• 변형체 모델을 캘리브레이션하는 소프트 로보틱스 연구자
• 궤적 최적화를 사용하는 제어 엔지니어

관련 기술

• 자동 미분(Automatic Differentiation)
• JAX
• MuJoCo MJX
• NVIDIA Warp
• 궤적 최적화(Trajectory Optimization)
• 시스템 식별(System Identification)

관련 용어

• Digital Twin
• Sim2Real
• Reinforcement Learning
• System Identification

관련 프로젝트

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment

동영상

• Finally, Differentiable Physics is Here!: Two Minute Papers
• Learning on the Fly: Rapid Policy Adaptation via Differentiable Simulation (RA-L 2026): UZH Robotics and Perception Group