PACE Sim2Real

Transferencia sim-to-real sistemática mediante la identificación de la dinámica de los actuadores

Licencia

Apache-2.0

Resumen

PACE (Precise Adaptation through Continuous Evolution) es un marco sistemático del Robotic Systems Lab de ETH Zúrich para identificar la dinámica de actuadores y articulaciones y mejorar la transferencia sim-to-real de robots con patas. Usando solo codificadores articulares estándar, PACE identifica la dinámica del motor, la fricción, la amortiguación y la elasticidad articular, los parámetros que con más frecuencia causan la brecha con la realidad. El enfoque no depende del hardware, se ha validado en varias plataformas cuadrúpedas y reduce de forma notable la pérdida de rendimiento al pasar de la simulación al mundo real.

PACE (Precise Adaptation through Continuous Evolution) es un framework del Robotic Systems Lab de ETH Zurich que aborda la brecha sim-to-real en robots con patas. Ofrece un enfoque sistemático para identificar los parámetros dinámicos de actuadores y articulaciones usando solo los codificadores estándar de las articulaciones, y después usa esos parámetros para crear simulaciones más fieles.

El método central combina la identificación de sistemas basada en datos con la optimización evolutiva CMA-ES. Al registrar trayectorias de movimiento sencillas en el hardware real, PACE aprende parámetros con significado físico, como la fricción, el amortiguamiento y las características de respuesta de los actuadores. Estos parámetros se aplican después a los entornos de simulación de NVIDIA Isaac Lab, lo que da lugar a una transferencia de políticas mucho mejor.

PACE se ha validado en plataformas cuadrúpedas reales como ANYmal, con mejoras medibles en el rendimiento de la locomoción al transferir políticas entrenadas con RL de la simulación al hardware. El framework está diseñado para ser independiente de la plataforma y admite varias configuraciones de robot y tipos de actuador.

Por qué importa

PACE aborda uno de los mayores cuellos de botella al desplegar políticas de locomoción aprendidas: la brecha entre la simulación y el hardware físico. Al ofrecer un método sistemático y basado en datos para identificar la dinámica de los actuadores usando solo los codificadores estándar de las articulaciones, hace accesible una transferencia sim-to-real de alta fidelidad sin configuraciones de sensores costosas.

Qué problema resuelve

Las políticas de aprendizaje por refuerzo entrenadas en simulación suelen fallar en robots reales porque los simuladores modelan mal la dinámica de los actuadores, la fricción y el comportamiento de las articulaciones. PACE lo resuelve aprendiendo parámetros dinámicos con significado físico a partir de datos del hardware real y aplicándolos después a la simulación, lo que mejora drásticamente la fidelidad de la transferencia.

Puntos clave

• Usa la optimización evolutiva CMA-ES para identificar los parámetros dinámicos de actuadores y articulaciones
• Solo requiere los codificadores estándar de las articulaciones: no hacen falta sensores adicionales
• Se integra directamente con NVIDIA Isaac Lab para flujos de trabajo sim-to-real sin fricciones
• Compatible de serie con varias plataformas robóticas y tipos de actuador
• Desarrollado y validado por el Robotic Systems Lab de ETH Zurich en cuadrúpedos reales

Para quién es

• Investigadores en robótica con patas que trabajan en locomoción y transferencia sim-to-real
• Profesionales de RL que despliegan políticas aprendidas en simulación en robots físicos
• Ingenieros de robótica que necesitan modelos de actuadores precisos para lograr fidelidad en la simulación
• Usuarios de NVIDIA Isaac Lab que quieren mejorar su pipeline sim-to-real

Limitaciones

• Requiere NVIDIA Isaac Lab (e Isaac Sim 5.0 o superior) para disponer de toda la funcionalidad
• Actualmente centrado en robots con patas: su aplicabilidad a otros tipos de robot no se ha probado
• Los requisitos de GPU de Isaac Sim pueden limitar su uso en hardware de consumo
• La identificación de parámetros requiere recopilar primero datos de movimiento del hardware real