Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

Preference-Based Learning

  • Também chamado: preference learning, PbRL, learning from comparisons
  • Categoria: Learning & autonomy › Learning from demonstration
  • Tags: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning

Aprender uma função de recompensa ou uma política a partir de comparações humanas, como qual de dois comportamentos de um robô é melhor, em vez de a partir de demonstrações ou notas numéricas.

Definição

O aprendizado baseado em preferências (preference-based learning) ajusta um modelo do que uma pessoa quer a partir das comparações que ela faz entre alternativas. Uma consulta típica mostra duas trajetórias de robô e pergunta qual é melhor; outras formas pedem à pessoa que ordene várias opções ou escolha a melhor de um conjunto. Essas respostas são usadas para aprender uma função de recompensa, que um planejador ou um algoritmo de aprendizado por reforço então otimiza, ou, em alguns métodos, para atualizar diretamente a política. Muitas vezes é mais fácil para as pessoas dar comparações consistentes do que notas absolutas, e elas podem dá-las para comportamentos que não conseguiriam demonstrar elas mesmas, como movimentos rápidos ou dinâmicos do robô.

A ligação usual entre recompensas e escolhas é o modelo de Bradley-Terry: a probabilidade de uma pessoa preferir a opção A à opção B é uma função logística da diferença entre suas recompensas, P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))). O modelo de Plackett-Luce estende isso a ordenações completas. Um parâmetro de racionalidade ou de temperatura define quanto ruído se supõe nas respostas da pessoa. A recompensa pode ser uma soma ponderada de características de uma trajetória projetadas à mão, um processo gaussiano ou uma rede neural treinada com as comparações. Como cada resposta carrega no máximo um bit de informação, muitos métodos escolhem as consultas de forma ativa, selecionando o par cuja resposta mais reduziria a incerteza sobre a recompensa, como no trabalho de aprendizado ativo de recompensas baseado em preferências de Sadigh et al. (2017).

No aprendizado por reforço profundo, Christiano et al. (2017) mostraram que um modelo de recompensa neural treinado com comparações humanas de clipes curtos podia ensinar comportamentos complexos a agentes, e a mesma abordagem é a base do aprendizado por reforço a partir de feedback humano (RLHF) para modelos de linguagem. Na robótica, ele é usado para personalizar o comportamento para usuários individuais, como estilo de movimento, estilo de direção, momento de entrega de objetos ou parâmetros de marcha de exoesqueletos. Questões práticas incluem preferências inconsistentes ou que mudam, a pouca informação por consulta e a escolha de características ou representações nas quais as preferências da pessoa possam ser expressas; alguns trabalhos aprendem essas representações a partir de interações naturais do usuário, em vez de projetá-las à mão.

Por que importa

Muitos comportamentos de robôs dependem do que uma pessoa específica acha confortável, legível ou agradável, e essas qualidades são difíceis de escrever como recompensa ou de mostrar em uma demonstração. O aprendizado baseado em preferências oferece um jeito prático de capturá-las com perguntas simples, e os mesmos métodos agora são centrais para alinhar grandes modelos aprendidos com o julgamento humano.

Principais aplicações

  • Personalização do estilo de movimento, da velocidade e da proxêmica do robô para usuários individuais
  • Aprendizado de funções de recompensa para aprendizado por reforço quando as recompensas são difíceis de especificar
  • Ajuste de parâmetros de controle de exoesqueletos e próteses a partir do feedback do usuário
  • Aprendizado de preferências de estilo de direção para veículos autônomos
  • Aprendizado por reforço a partir de feedback humano para modelos de linguagem e de visão-linguagem-ação

Na prática

Uma equipe quer que um robô doméstico se aproxime e entregue objetos de um jeito que cada usuário ache confortável. Eles descrevem cada aproximação candidata por características como velocidade, distância mantida, ângulo de aproximação e quão cedo o braço se estende. Em uma sessão curta, o robô executa duas variantes e o usuário diz qual prefere. Após cada resposta, uma estimativa bayesiana dos pesos de recompensa do usuário é atualizada sob um modelo de Bradley-Terry, e o próximo par é escolhido para ser o mais informativo. Quando a estimativa para de mudar muito entre as respostas, o planejador do robô usa a recompensa aprendida para gerar novas aproximações. A equipe verifica a consistência repetindo algumas consultas anteriores e para de adaptar se as respostas se tornarem contraditórias.

Equívocos comuns

  • Preferências dão uma medida absoluta de qualidade — elas só mostram qual opção é melhor, então a recompensa aprendida é definida a menos de um deslocamento e sua escala depende do nível de ruído suposto
  • Consultas de comparação aleatórias são igualmente boas — cada resposta carrega pouca informação, e consultas escolhidas ativamente geralmente precisam de muito menos comparações
  • Aprendizado baseado em preferências é o mesmo que RLHF — o RLHF é uma aplicação dele a grandes modelos; a ideia é mais antiga e é muito usada na robótica
  • As preferências humanas são consistentes e fixas — as pessoas fazem escolhas ruidosas, às vezes intransitivas, que podem mudar com a experiência, então os modelos precisam admitir ruído e deriva

Quem deve saber

  • Pesquisadores de aprendizado de robôs que trabalham com feedback humano
  • Pesquisadores de interação humano-robô que projetam comportamentos personalizados
  • Engenheiros de aprendizado por reforço que têm dificuldade em especificar recompensas
  • Engenheiros de robótica assistiva e vestível que ajustam dispositivos aos usuários

Tecnologias relacionadas

  • Modelo de Bradley-Terry (Bradley-Terry Model)
  • Aprendizado por reforço a partir de feedback humano (Reinforcement Learning from Human Feedback)
  • Direct Preference Optimization
  • Aprendizado ativo bayesiano (Bayesian Active Learning)
  • Aprendizado de preferências com processos gaussianos (Gaussian Process Preference Learning)

Termos relacionados

  • Inverse Reinforcement Learning
  • Reinforcement Learning
  • Imitation Learning
  • Gaussian process regression
  • End-User Robot Programming

Projetos relacionados

  • Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
  • RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
  • Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks

Vídeos

  • Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.