Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Preference-Based Learning

  • También llamado: preference learning, PbRL, learning from comparisons
  • Categoría: Learning & autonomy › Learning from demonstration
  • Etiquetas: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning

Aprender una función de recompensa o una política a partir de comparaciones humanas, como cuál de dos comportamientos de un robot es mejor, en lugar de a partir de demostraciones o puntuaciones numéricas.

Definición

El aprendizaje basado en preferencias (preference-based learning) ajusta un modelo de lo que quiere una persona a partir de sus comparaciones entre alternativas. Una consulta típica muestra dos trayectorias de robot y pregunta cuál es mejor; otras formas piden a la persona que ordene varias opciones o que elija la mejor de un conjunto. Estas respuestas se usan para aprender una función de recompensa, que después optimiza un planificador o un algoritmo de aprendizaje por refuerzo, o en algunos métodos para actualizar directamente la política. A las personas suele resultarles más fácil dar comparaciones coherentes que puntuaciones absolutas, y pueden darlas para comportamientos que ellas mismas no podrían demostrar, como movimientos rápidos o dinámicos de un robot.

El vínculo habitual entre recompensas y elecciones es el modelo de Bradley-Terry: la probabilidad de que una persona prefiera la opción A a la opción B es una función logística de la diferencia entre sus recompensas, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))). El modelo de Plackett-Luce lo amplía a ordenaciones completas. Un parámetro de racionalidad o de temperatura fija cuánto ruido se supone en las respuestas de la persona. La recompensa puede ser una suma ponderada de características de una trayectoria diseñadas a mano, un proceso gaussiano o una red neuronal entrenada con las comparaciones. Como cada respuesta aporta como mucho un bit de información, muchos métodos eligen las consultas de forma activa, escogiendo el par cuya respuesta más reduciría la incertidumbre sobre la recompensa, como en el trabajo de aprendizaje activo de recompensas basado en preferencias de Sadigh et al. (2017).

En el aprendizaje por refuerzo profundo, Christiano et al. (2017) mostraron que un modelo de recompensa neuronal entrenado con comparaciones humanas de clips cortos podía enseñar a los agentes comportamientos complejos, y el mismo enfoque es la base del aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para modelos de lenguaje. En robótica se usa para personalizar el comportamiento para usuarios individuales, como el estilo de movimiento, el estilo de conducción, el momento de una entrega de objetos o los parámetros de marcha de un exoesqueleto. Los problemas prácticos incluyen las preferencias incoherentes o cambiantes, la poca información por consulta y la elección de características o representaciones en las que puedan expresarse las preferencias de la persona; algunos trabajos aprenden esas representaciones a partir de interacciones naturales del usuario en lugar de diseñarlas a mano.

Por qué importa

Muchos comportamientos de los robots dependen de lo que una persona concreta encuentra cómodo, legible o agradable, y estas cualidades son difíciles de escribir como recompensa o de mostrar en una demostración. El aprendizaje basado en preferencias ofrece una forma práctica de captarlas mediante preguntas sencillas, y los mismos métodos son hoy centrales para alinear grandes modelos aprendidos con el juicio humano.

Aplicaciones clave

  • Personalización del estilo de movimiento, la velocidad y la proxémica del robot para usuarios individuales
  • Aprendizaje de funciones de recompensa para el aprendizaje por refuerzo cuando las recompensas son difíciles de especificar
  • Ajuste de los parámetros de control de exoesqueletos y prótesis a partir de la retroalimentación del usuario
  • Aprendizaje de preferencias de estilo de conducción para vehículos autónomos
  • Aprendizaje por refuerzo a partir de retroalimentación humana para modelos de lenguaje y de visión-lenguaje-acción

En la práctica

Un equipo quiere que un robot doméstico se acerque y entregue objetos de una forma que cada usuario encuentre cómoda. Describen cada aproximación candidata mediante características como la velocidad, la distancia mantenida, el ángulo de aproximación y lo pronto que se extiende el brazo. En una sesión corta, el robot ejecuta dos variantes y el usuario dice cuál prefiere. Tras cada respuesta, se actualiza una estimación bayesiana de los pesos de recompensa del usuario con un modelo de Bradley-Terry, y el siguiente par se elige para que sea el más informativo. Cuando la estimación deja de cambiar mucho entre respuestas, el planificador del robot usa la recompensa aprendida para generar nuevas aproximaciones. El equipo comprueba la coherencia repitiendo algunas consultas anteriores y deja de adaptar si las respuestas se vuelven contradictorias.

Ideas erróneas comunes

  • Las preferencias dan una medida absoluta de la calidad — solo muestran qué opción es mejor, así que la recompensa aprendida está definida salvo un desplazamiento y su escala depende del nivel de ruido supuesto
  • Las consultas de comparación aleatorias son igual de buenas — cada respuesta aporta poca información, y las consultas elegidas de forma activa suelen necesitar muchas menos comparaciones
  • El aprendizaje basado en preferencias es lo mismo que el RLHF — el RLHF es una aplicación suya a grandes modelos; la idea es más antigua y se usa ampliamente en robótica
  • Las preferencias humanas son coherentes y fijas — las personas hacen elecciones ruidosas, a veces intransitivas, que pueden cambiar con la experiencia, así que los modelos deben admitir ruido y deriva

Quién debería saberlo

  • Investigadores en aprendizaje robótico que trabajan con retroalimentación humana
  • Investigadores en interacción humano-robot que diseñan comportamientos personalizados
  • Ingenieros de aprendizaje por refuerzo a los que les cuesta especificar recompensas
  • Ingenieros de robótica asistencial y ponible que ajustan dispositivos a los usuarios

Tecnologías relacionadas

  • Modelo de Bradley-Terry (Bradley-Terry Model)
  • Aprendizaje por refuerzo a partir de retroalimentación humana (Reinforcement Learning from Human Feedback)
  • Direct Preference Optimization
  • Aprendizaje activo bayesiano (Bayesian Active Learning)
  • Aprendizaje de preferencias con procesos gaussianos (Gaussian Process Preference Learning)

Términos relacionados

  • Inverse Reinforcement Learning
  • Reinforcement Learning
  • Imitation Learning
  • Gaussian process regression
  • End-User Robot Programming

Proyectos relacionados

  • Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
  • RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
  • Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Vídeos

  • Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.