Differentiable Simulation

• También llamado: differentiable physics, differentiable simulator, differentiable dynamics
• Categoría: Software & tooling › Simulation & twins
• Etiquetas: simulation, automatic-differentiation, system-identification, trajectory-optimization, sim-to-real, physics-engine

Simulación física capaz de calcular los gradientes de sus salidas con respecto a sus entradas y parámetros, de modo que los controladores, diseños y modelos de robots puedan optimizarse directamente por descenso de gradiente.

Definición

Simulación diferenciable (differentiable simulation) es una simulación física escrita de forma que puedan calcularse derivadas a través de ella. Un simulador convencional toma un estado, unas entradas de control y unos parámetros físicos y devuelve el estado siguiente. Un simulador diferenciable devuelve además cómo cambia ese estado siguiente, o cualquier magnitud calculada a partir de una trayectoria simulada completa, con respecto a esas entradas. Los gradientes suelen obtenerse con diferenciación automática en frameworks como JAX, PyTorch o NVIDIA Warp, o a partir de derivadas analíticas de las ecuaciones de la dinámica.

Los gradientes a través de la física abren varios usos. En la optimización de trayectorias, una secuencia de controles puede mejorarse siguiendo el gradiente de un coste a través del rollout simulado. En el aprendizaje de políticas, los gradientes analíticos de la política retropropagan una pérdida de la tarea a través del simulador hasta la red de la política, lo que puede requerir muchas menos muestras que los métodos de aprendizaje por refuerzo que estiman los gradientes solo a partir de las recompensas. En la identificación de sistemas, parámetros como la masa, la fricción o la rigidez se ajustan a mediciones reales, y en el codiseño las dimensiones de un robot se optimizan junto con su controlador.

La robótica es un ámbito exigente para la física diferenciable a causa del contacto. Los impactos y la fricción crean discontinuidades y dinámicas rígidas, de modo que el gradiente verdadero puede ser cero, no estar definido o ser engañoso. Los simuladores lo abordan con modelos de contacto suavizados o blandos, fuerzas de penalización elásticas, o diferenciando a través de los problemas de optimización que se usan para resolver el contacto. Cada opción supone un compromiso entre precisión física y calidad del gradiente. Los rollouts largos añaden un segundo problema: los gradientes pueden explotar o desvanecerse a lo largo de muchos pasos de tiempo, y el paisaje de optimización puede ser accidentado incluso cuando los gradientes existen.

La simulación diferenciable se combina a menudo con componentes aprendidos. Una red neuronal puede modelar las partes de la dinámica difíciles de derivar, como el comportamiento de los actuadores o la deformación de cuerpos blandos, mientras el resto del simulador sigue basado en la física, y todo el sistema se entrena de extremo a extremo. El renderizado diferenciable permite que los gradientes fluyan desde las imágenes de cámara hasta los parámetros de la escena. Entre las herramientas disponibles están MuJoCo MJX, Brax y NVIDIA Warp.

Por qué importa

Los gradientes permiten que la optimización aproveche la estructura de la física en lugar de tratar el simulador como una caja negra, lo que puede hacer que el aprendizaje, la calibración y el diseño sean mucho más eficientes en datos. La simulación diferenciable es también una forma práctica de ajustar los simuladores al hardware real, reduciendo la diferencia entre el comportamiento simulado y el real.

Aplicaciones clave

• Identificación de sistemas — ajustar los parámetros físicos de robots y objetos a datos medidos
• Optimización de trayectorias — refinar secuencias de control por descenso de gradiente a través de la dinámica simulada
• Aprendizaje de políticas — entrenar controladores con gradientes analíticos a través del simulador
• Modelado de robots blandos — calibrar simulaciones de cuerpos deformables frente al hardware real
• Codiseño de robots — optimizar los parámetros mecánicos junto con el controlador

En la práctica

Un equipo que usa simulación diferenciable podría registrar primero datos de movimiento y de par articular de su robot, y después ajustar los parámetros de fricción, amortiguamiento y masa minimizando por descenso de gradiente la diferencia entre las trayectorias simuladas y las medidas. Con el modelo calibrado puede optimizar una trayectoria o entrenar una política retropropagando una pérdida de la tarea a través de rollouts simulados cortos, a menudo truncando el horizonte o mezclando gradientes analíticos con aprendizaje por refuerzo para mantener estables los gradientes. Comprueba con cuidado la calidad de los gradientes, por ejemplo comparándolos con diferencias finitas, y presta atención a la configuración del contacto, ya que los parámetros de contacto blando elegidos para obtener gradientes suaves pueden hacer que la simulación sea menos fiel al robot real.

Ideas erróneas comunes

• La simulación diferenciable siempre da mejores gradientes que el aprendizaje por refuerzo — las discontinuidades del contacto y los horizontes largos pueden hacer que los gradientes analíticos sean ruidosos o engañosos
• Cualquier simulador se vuelve diferenciable envolviéndolo en diferenciación automática — el tratamiento no suave del contacto, el código con ramificaciones y los solucionadores iterativos necesitan un tratamiento especial para dar gradientes útiles
• Diferenciable significa más preciso — la diferenciabilidad trata del cálculo de derivadas; suavizar para obtener buenos gradientes puede reducir la precisión física

Quién debería saberlo

• Investigadores en aprendizaje de robots que trabajan en control y aprendizaje basados en modelos
• Ingenieros de simulación que construyen motores de física
• Investigadores en robótica blanda que calibran modelos deformables
• Ingenieros de control que usan optimización de trayectorias

Tecnologías relacionadas

• Diferenciación automática (Automatic Differentiation)
• JAX
• MuJoCo MJX
• NVIDIA Warp
• Optimización de trayectorias (Trajectory Optimization)
• Identificación de sistemas (System Identification)

Términos relacionados

• Digital Twin
• Sim2Real
• Reinforcement Learning
• System Identification

Proyectos relacionados

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment

Vídeos

• Finally, Differentiable Physics is Here!: Two Minute Papers
• Learning on the Fly: Rapid Policy Adaptation via Differentiable Simulation (RA-L 2026): UZH Robotics and Perception Group