Preference-Based Learning
- 別名: preference learning, PbRL, learning from comparisons
- カテゴリ: Learning & autonomy › Learning from demonstration
- タグ: human-feedback, reward-learning, personalization, human-robot-interaction, active-learning
デモンストレーションや数値の点数ではなく、2 つのロボットのふるまいのどちらが良いかといった人間の比較から、報酬関数や方策を学習すること。
定義
選好に基づく学習(preference-based learning)は、人が選択肢どうしを比較した結果から、その人が何を望んでいるかのモデルを当てはめる。典型的な問いでは 2 本のロボット軌道を見せてどちらが良いかを尋ね、ほかに、いくつかの選択肢を順位付けさせたり、集合の中から最良のものを選ばせたりする形もある。これらの回答は報酬関数の学習に使われ、その報酬関数をプランナーや強化学習アルゴリズムが最適化する。手法によっては回答で方策を直接更新する。人にとっては絶対的な点数より比較の方が一貫して答えやすいことが多く、速い動きや動的な動きなど、その人自身では示せないロボットのふるまいについても比較を与えることができる。
報酬と選択を結び付ける通常のモデルは Bradley-Terry モデルである。人が選択肢 B より選択肢 A を好む確率は、両者の報酬の差のロジスティック関数であり、P(A over B) = exp(R(A)) / (exp(R(A)) + exp(R(B))) となる。Plackett-Luce モデルはこれを完全な順位付けへ拡張する。合理性パラメータまたは温度パラメータが、その人の選択にどれだけノイズがあると仮定するかを決める。報酬は、軌道の人手で設計した特徴の重み付き和、ガウス過程、あるいは比較データで訓練したニューラルネットワークにできる。各回答がもつ情報は最大でも 1 ビットなので、多くの手法は問いを能動的に選び、Sadigh ら(2017)の能動的な選好に基づく報酬学習の研究のように、回答が報酬の不確かさを最も減らすペアを選ぶ。
深層強化学習では、Christiano ら(2017)が、短いクリップに対する人間の比較で訓練したニューラル報酬モデルによって、エージェントに複雑なふるまいを教えられることを示した。同じアプローチは、言語モデルにおける人間のフィードバックによる強化学習(RLHF)の基盤となっている。ロボティクスでは、動作のスタイル、運転のスタイル、物を手渡すタイミング、外骨格の歩容パラメータなど、ふるまいを個々のユーザーに合わせるために使われる。実用上の課題には、一貫しない選好や変化する選好、問い 1 回あたりの情報の少なさ、そしてその人の選好を表現できる特徴や表現の選び方がある。こうした表現を人手で設計するのではなく、ユーザーとの自然なインタラクションから学習する研究もある。
重要な理由
ロボットのふるまいの多くは、特定の人が何を快適、わかりやすい、心地よいと感じるかに左右されるが、こうした性質は報酬として書き下すことも、デモンストレーションで示すことも難しい。選好に基づく学習は、簡単な問いからそれらを捉える実用的な方法を与え、同じ手法は今や大規模な学習済みモデルを人間の判断に整合させるうえでも中心的な役割を果たしている。
主な用途
- ロボットの動作スタイル、速度、対人距離の個々のユーザーへの適合
- 報酬の指定が難しい場合の強化学習のための報酬関数の学習
- ユーザーのフィードバックによる外骨格や義肢の制御パラメータの調整
- 自動運転車のための運転スタイルの選好の学習
- 言語モデルや視覚-言語-行動モデルのための人間のフィードバックによる強化学習
実際の使われ方
あるチームは、家庭用ロボットが各ユーザーにとって快適なやり方で近づき、物を手渡すようにしたいと考えている。候補となる近づき方を、速度、保つ距離、接近角度、腕をどれだけ早く伸ばすかといった特徴で記述する。短いセッションで、ロボットは 2 つのバリエーションを実行し、ユーザーはどちらが好みかを答える。回答のたびに、Bradley-Terry モデルのもとでユーザーの報酬の重みのベイズ推定を更新し、次に最も情報量の多いペアを選ぶ。回答の間で推定があまり変わらなくなったら、ロボットのプランナーは学習した報酬を使って新しい近づき方を生成する。チームは以前の問いの一部を繰り返して一貫性を確認し、回答が矛盾するようになったら適応を止める。
よくある誤解
- 選好は品質の絶対的な尺度を与える — 選好はどちらの選択肢が良いかを示すだけなので、学習した報酬はオフセットを除いてしか定まらず、そのスケールは仮定したノイズの大きさに依存する
- ランダムな比較の問いでも同じくらい良い — 各回答がもつ情報は少なく、能動的に選んだ問いの方が通常ははるかに少ない比較で済む
- 選好に基づく学習は RLHF と同じである — RLHF は大規模モデルへの応用の 1 つにすぎず、この考え方はそれより古く、ロボティクスで広く使われている
- 人間の選好は一貫していて固定されている — 人はノイズを含み、ときに推移的でない選択をし、それは経験とともに変わりうるので、モデルはノイズとドリフトを許容しなければならない
知っておくべき人
- 人間のフィードバックを扱うロボット学習の研究者
- 個人に合わせたふるまいを設計するヒューマンロボットインタラクションの研究者
- 報酬の指定に苦労している強化学習エンジニア
- デバイスをユーザーに合わせて調整する支援ロボティクス・ウェアラブルロボティクスのエンジニア
関連技術
- Bradley-Terry モデル(Bradley-Terry Model)
- 人間のフィードバックによる強化学習(Reinforcement Learning from Human Feedback)
- 直接選好最適化(Direct Preference Optimization)
- ベイズ能動学習(Bayesian Active Learning)
- ガウス過程による選好学習(Gaussian Process Preference Learning)
関連用語
- Inverse Reinforcement Learning
- Reinforcement Learning
- Imitation Learning
- Gaussian process regression
- End-User Robot Programming
関連プロジェクト
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- RAI: Vendor-agnostic agent framework for ROS 2 robots and physical AI
- Assistive Gym: Physics simulation framework for training assistive robots in caregiving tasks
動画
- Reinforcement Learning from Human Feedback (RLHF) Explained: IBM Technology