Asymmetric Actor-Critic

También llamado: asymmetric critic, privileged critic
Categoría: Learning & autonomy › RL & simulation
Etiquetas: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

Una configuración de aprendizaje por refuerzo actor-crítico en la que el crítico se entrena con el estado privilegiado del simulador mientras que el actor usa solo las observaciones que tendrá el robot real.

Definición

Actor-crítico asimétrico (asymmetric actor-critic) es una forma de entrenar una política con un algoritmo de aprendizaje por refuerzo actor-crítico cuando el entorno de entrenamiento sabe más de lo que sabrá el robot desplegado. El actor, que se convierte en la política desplegada, recibe solo observaciones realistas, como imágenes de cámara, codificadores (encoders) articulares o estimaciones ruidosas de la pose de los objetos. Al crítico, que estima el valor de los estados y solo existe para reducir la varianza del gradiente de política durante el entrenamiento, se le da información privilegiada adicional: poses y velocidades exactas de los objetos, fuerzas de contacto, coeficientes de fricción y otros elementos del estado del simulador. Pinto y sus colegas introdujeron el término en 2018 para el aprendizaje robótico basado en imágenes, en el que el actor veía imágenes y el crítico veía el estado completo.

La idea funciona porque el crítico se descarta después del entrenamiento. Nada de lo que consume tiene que medirse en el robot real, por lo que se le puede dar todo lo que facilite al máximo la estimación del valor. Un crítico con el estado completo aprende más rápido y con más precisión que uno que debe inferir magnitudes ocultas a partir de observaciones parciales, lo que da al actor mejores señales de aprendizaje. El enfoque encaja de forma natural con métodos on-policy como PPO, usado para la reorientación en la mano en Isaac Gym, y con métodos off-policy como DDPG o SAC.

El actor-crítico asimétrico se diferencia del entrenamiento maestro-estudiante. En el entrenamiento maestro-estudiante, primero se entrena una política maestra independiente con entradas privilegiadas y después se destila en un estudiante que solo ve observaciones reales. En el actor-crítico asimétrico hay una sola política, entrenada directamente por aprendizaje por refuerzo con entradas realistas; solo la función de valor es privilegiada. A menudo se combinan ambos. Una sutileza es que, con observabilidad parcial, un crítico que se condiciona solo en el estado real puede dar estimaciones de valor sesgadas para una política que actúa según el historial de observaciones, por lo que muchas implementaciones dan al crítico tanto el estado privilegiado como las observaciones del actor.

Por qué importa

El aprendizaje por refuerzo sim-to-real necesita políticas que funcionen con sensores reales, pero aprender a partir de observaciones parciales y ruidosas es lento e inestable. Dar al crítico el estado privilegiado del simulador es un cambio barato en los algoritmos estándar que a menudo hace el entrenamiento mucho más rápido y fiable, sin añadir nada que el robot desplegado tenga que medir.

Aplicaciones clave

Reorientación de objetos en la mano con manos robóticas diestras
Políticas de manipulación basadas en imágenes entrenadas en simulación
Políticas de locomoción con patas entrenadas con información privilegiada del terreno y de los contactos
Aprendizaje por refuerzo sim-to-real con simuladores paralelos en GPU
Tareas de control parcialmente observables en las que el simulador expone el estado oculto

En la práctica

Un equipo entrena una mano de varios dedos para reorientar objetos en un simulador en GPU con PPO. La red del actor recibe las posiciones de las yemas de los dedos, los ángulos articulares y una estimación de la pose del objeto con ruido y latencia añadidos, igual a lo que entregará en el hardware un rastreador de pose basado en cámara. La red del crítico recibe las mismas entradas más la pose exacta del objeto, la velocidad lineal y angular, la orientación objetivo y los valores aleatorizados de fricción y masa de ese entorno. Ambas redes comparten los mismos rollouts y se actualizan juntas. En el despliegue, solo los pesos del actor se exportan al ordenador del robot; el crítico y las entradas exclusivas del simulador no vuelven a necesitarse.

Ideas erróneas comunes

La política desplegada usa el estado privilegiado — solo el crítico lo ve durante el entrenamiento, y el crítico se descarta en el despliegue
Es lo mismo que el entrenamiento maestro-estudiante — el maestro-estudiante entrena una política privilegiada y la destila, mientras que el actor-crítico asimétrico entrena directamente una única política realista con una función de valor privilegiada
Un crítico que solo usa el estado siempre es correcto — con observabilidad parcial puede sesgar la estimación del valor para un actor basado en observaciones, por lo que a menudo también se dan al crítico las observaciones del actor

Quién debería saberlo

Ingenieros de aprendizaje por refuerzo que trabajan en la transferencia sim-to-real
Investigadores de manipulación diestra
Desarrolladores de locomoción con patas que entrenan políticas en simulación
Ingenieros de simulación que diseñan espacios de observación para el entrenamiento

Tecnologías relacionadas

Proximal Policy Optimization
Isaac Gym
Aprendizaje privilegiado (Privileged Learning)
Aleatorización de dominio (Domain Randomization)
Soft Actor-Critic

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim