Differentiable Simulation

• Detto anche: differentiable physics, differentiable simulator, differentiable dynamics
• Categoria: Software & tooling › Simulation & twins
• Tag: simulation, automatic-differentiation, system-identification, trajectory-optimization, sim-to-real, physics-engine

Simulazione fisica in grado di calcolare i gradienti delle proprie uscite rispetto ai propri ingressi e parametri, così che controllori, progetti e modelli di robot possano essere ottimizzati direttamente per discesa del gradiente.

Definizione

Simulazione differenziabile (differentiable simulation) è una simulazione fisica scritta in modo che sia possibile calcolare derivate attraverso di essa. Un simulatore convenzionale prende uno stato, degli ingressi di controllo e dei parametri fisici e restituisce lo stato successivo. Un simulatore differenziabile restituisce anche come varia quello stato successivo, o qualsiasi grandezza calcolata da un'intera traiettoria simulata, rispetto a quegli ingressi. I gradienti si ottengono di solito con la differenziazione automatica in framework come JAX, PyTorch o NVIDIA Warp, oppure da derivate analitiche delle equazioni della dinamica.

I gradienti attraverso la fisica aprono diversi usi. Nell'ottimizzazione di traiettorie, una sequenza di controlli può essere migliorata seguendo il gradiente di un costo lungo il rollout simulato. Nell'apprendimento di policy, i gradienti analitici della policy retropropagano una loss del compito attraverso il simulatore fino alla rete della policy, il che può richiedere molti meno campioni rispetto ai metodi di apprendimento per rinforzo che stimano i gradienti solo dalle ricompense. Nell'identificazione di sistemi, parametri come massa, attrito o rigidezza vengono adattati a misure reali, e nella co-progettazione le dimensioni di un robot vengono ottimizzate insieme al suo controllore.

La robotica è un contesto impegnativo per la fisica differenziabile a causa del contatto. Urti e attrito creano discontinuità e dinamiche rigide, quindi il gradiente vero può essere nullo, non definito o fuorviante. I simulatori affrontano il problema con modelli di contatto smussati o morbidi, forze di penalità cedevoli, oppure differenziando attraverso i problemi di ottimizzazione usati per risolvere il contatto. Ogni scelta bilancia l'accuratezza fisica con la qualità del gradiente. I rollout lunghi aggiungono un secondo problema: i gradienti possono esplodere o svanire su molti passi temporali, e il paesaggio di ottimizzazione può essere accidentato anche quando i gradienti esistono.

La simulazione differenziabile viene spesso combinata con componenti appresi. Una rete neurale può modellare le parti della dinamica difficili da ricavare, come il comportamento degli attuatori o la deformazione dei corpi morbidi, mentre il resto del simulatore resta basato sulla fisica, e l'intero sistema viene addestrato end-to-end. Il rendering differenziabile permette ai gradienti di fluire dalle immagini della telecamera fino ai parametri della scena. Tra gli strumenti disponibili ci sono MuJoCo MJX, Brax e NVIDIA Warp.

Perché è importante

I gradienti permettono all'ottimizzazione di sfruttare la struttura della fisica invece di trattare il simulatore come una scatola nera, il che può rendere apprendimento, calibrazione e progettazione molto più efficienti in termini di dati. La simulazione differenziabile è anche un modo pratico per adattare i simulatori all'hardware reale, riducendo il divario tra comportamento simulato e reale.

Applicazioni principali

• Identificazione di sistemi — adattare i parametri fisici di robot e oggetti ai dati misurati
• Ottimizzazione di traiettorie — affinare sequenze di controllo per discesa del gradiente attraverso la dinamica simulata
• Apprendimento di policy — addestrare controllori con gradienti analitici attraverso il simulatore
• Modellazione di soft robot — calibrare simulazioni di corpi deformabili sull'hardware reale
• Co-progettazione di robot — ottimizzare i parametri meccanici insieme al controllore

In pratica

Un team che usa la simulazione differenziabile potrebbe prima registrare dati di movimento e di coppia ai giunti del proprio robot, poi adattare i parametri di attrito, smorzamento e massa minimizzando per discesa del gradiente la differenza tra traiettorie simulate e misurate. Con il modello calibrato può ottimizzare una traiettoria o addestrare una policy retropropagando una loss del compito attraverso brevi rollout simulati, spesso troncando l'orizzonte o mescolando gradienti analitici e apprendimento per rinforzo per mantenere stabili i gradienti. Il team verifica con attenzione la qualità dei gradienti, per esempio confrontandoli con le differenze finite, e presta attenzione alle impostazioni del contatto, poiché i parametri di contatto morbido scelti per avere gradienti lisci possono rendere la simulazione meno fedele al robot reale.

Idee sbagliate comuni

• La simulazione differenziabile dà sempre gradienti migliori dell'apprendimento per rinforzo — le discontinuità del contatto e gli orizzonti lunghi possono rendere i gradienti analitici rumorosi o fuorvianti
• Qualsiasi simulatore diventa differenziabile avvolgendolo nella differenziazione automatica — la gestione non liscia del contatto, il codice con diramazioni e i risolutori iterativi richiedono un trattamento speciale per fornire gradienti utili
• Differenziabile significa più accurato — la differenziabilità riguarda il calcolo delle derivate; smussare per ottenere buoni gradienti può ridurre l'accuratezza fisica

Chi dovrebbe saperlo

• Ricercatori di apprendimento robotico che lavorano su controllo e apprendimento basati su modello
• Ingegneri di simulazione che sviluppano motori fisici
• Ricercatori di soft robotics che calibrano modelli deformabili
• Ingegneri di controllo che usano l'ottimizzazione di traiettorie

Tecnologie correlate

• Differenziazione automatica (Automatic Differentiation)
• JAX
• MuJoCo MJX
• NVIDIA Warp
• Ottimizzazione di traiettorie (Trajectory Optimization)
• Identificazione di sistemi (System Identification)

Termini correlati

• Digital Twin
• Sim2Real
• Reinforcement Learning
• System Identification

Progetti correlati

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment

Video

• Finally, Differentiable Physics is Here!: Two Minute Papers
• Learning on the Fly: Rapid Policy Adaptation via Differentiable Simulation (RA-L 2026): UZH Robotics and Perception Group