Goal-Conditioned Policy
- También llamado: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- Categoría: Learning & autonomy › RL & simulation
- Etiquetas: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
Una política de control que recibe un objetivo como entrada adicional junto a sus observaciones, de modo que un único modelo aprendido puede alcanzar muchos objetivos distintos en lugar de entrenarse para una sola tarea.
Definición
Políticas condicionadas por objetivo (goal-conditioned policies) eligen acciones en función tanto de la observación actual como de un objetivo especificado, lo que se escribe π(a | s, g). Una política estándar aprende a hacer una sola cosa; una política condicionada por objetivo aprende una familia de comportamientos indexada por el objetivo. La misma red puede llevar a un robot a muchas ubicaciones, colocar un objeto en muchas poses o alcanzar cualquier imagen objetivo que se le dé.
Los objetivos pueden adoptar muchas formas: una posición o pose objetivo, una configuración articular deseada, una imagen de cómo debería verse la escena o una instrucción en lenguaje natural. En navegación son habituales los objetivos en forma de imagen, en los que se muestra al robot una foto de un lugar y debe llegar a él. En manipulación, los objetivos suelen ser poses objetivo de los objetos o imágenes de la disposición deseada.
En el aprendizaje por refuerzo, el condicionamiento por objetivo se formaliza mediante funciones de valor condicionadas por objetivo, como los aproximadores universales de funciones de valor, que estiman lo bien que el robot puede alcanzar cada objetivo desde cada estado. Una dificultad práctica es que las recompensas por alcanzar un objetivo concreto son poco frecuentes. La repetición de experiencia retrospectiva (hindsight experience replay) aborda esto reetiquetando un intento fallido como un éxito para el objetivo que realmente se alcanzó, lo que convierte cada trayectoria en datos de entrenamiento útiles.
El condicionamiento por objetivo también es central en el aprendizaje por imitación a partir de grandes conjuntos de datos. Las demostraciones o el juego registrado pueden reetiquetarse con objetivos tomados de momentos posteriores de la misma trayectoria, de modo que un único conjunto de datos enseña a la política a alcanzar muchos resultados. Las políticas condicionadas por objetivo se combinan a menudo con planificadores o mapas que proporcionan una secuencia de objetivos intermedios, lo que permite que una política de horizonte corto realice tareas de horizonte largo.
Por qué importa
Las políticas condicionadas por objetivo permiten que un modelo sirva para muchas tareas, lo que aprovecha mejor los costosos datos de robots y da a los planificadores una habilidad de bajo nivel reutilizable a la que llamar. Son una interfaz habitual entre la especificación de tareas de alto nivel y el control aprendido.
Aplicaciones clave
- Navegación hacia objetivos dados como imagen o como posición
- Manipulación multitarea en la que varía la pose objetivo o la disposición del objeto
- Tareas de alcance y empuje entrenadas con reetiquetado retrospectivo
- Habilidades de bajo nivel invocadas por planificadores en sistemas jerárquicos
En la práctica
Un equipo de navegación podría entrenar una política que recibe la imagen actual de la cámara y una imagen de la ubicación objetivo y produce órdenes de velocidad. Los datos de entrenamiento proceden de recorridos registrados del robot, en los que los fotogramas posteriores de una misma ejecución se usan como objetivos para los anteriores. En el despliegue, un mapa topológico o un planificador proporciona una secuencia de imágenes de subobjetivos, y la política conduce hacia cada una por turno. Los equipos miden el éxito en objetivos reservados y no solo en los objetivos vistos en el entrenamiento.
Ideas erróneas comunes
- Una política condicionada por objetivo puede alcanzar cualquier objetivo — solo generaliza a objetivos similares a los representados en el entrenamiento
- El condicionamiento por objetivo solo se aplica al aprendizaje por refuerzo — es igual de habitual en el aprendizaje por imitación, donde los objetivos se reetiquetan a partir de los datos de demostración
- Una política condicionada por objetivo sustituye a la planificación — para tareas largas suele necesitar un planificador o un mapa que proporcione subobjetivos cercanos
Quién debería saberlo
- Investigadores en aprendizaje de robots que trabajan en aprendizaje por refuerzo y por imitación
- Ingenieros de navegación que usan controladores aprendidos
- Ingenieros que construyen sistemas jerárquicos de planificación y control
Tecnologías relacionadas
- Aprendizaje por refuerzo (Reinforcement Learning)
- Hindsight Experience Replay
- Aproximadores universales de funciones de valor (Universal Value Function Approximators)
- Aprendizaje por imitación (Imitation Learning)
- Diffusion Policy
- Mapa topológico (Topological Map)
Términos relacionados
Proyectos relacionados
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim