RLHFとは？
RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）とは、人間による「良い・悪い」の評価をお手本にして、AIの受け答えを磨き上げる学習手法です。ChatGPTの成功を支えた立役者のひとつで、事前学習だけでは得られない「感じのよさ」「役立ち度」をAIに与えました。
しくみをざっくり
事前学習を終えたばかりのLLMは、知識は豊富でも、そっけなかったり、不適切な内容を平気で話したりします。そこでRLHFの出番です。
- AIに複数の回答を出させ、人間の評価者が「どちらが良い回答か」を選ぶ
- その評価パターンを学習した「報酬モデル」を作る（人間の好みの採点役）
- 採点役から高評価をもらえるように、強化学習でAI本体を調整する
犬のしつけで「良い行動にはごほうび」を繰り返すと行動が定着するのに似た仕組みを、対話の質に応用したものです。
何が変わった？
RLHFによって、AIは指示に素直に従い、丁寧で、危険な依頼を断るようになりました。今のチャットAIの「人あたりの良さ」は、この工程の産物です。アライメント（AIを人間の意図に沿わせる取り組み）の代表的な実現手段でもあります。
課題と発展形
人間の評価者を大量に使うためコストが高いこと、評価者の好みの偏りがAIに移ること、「人に好かれる答え」を優先して事実を曲げる方向に働き得ることなどが課題とされます。近年は、AI自身に評価させる方式や、原則を定めて守らせる方式など、RLHFを補う手法の研究も進んでいます。「AIの性格は、仕上げの学習で人間が方向づけている」と知っておくと、AIの振る舞いの理由が見えてきます。
ChatGPT登場時の衝撃は「知識量」よりも「対話の心地よさ」によるところが大きく、その立役者がRLHFでした。地味な名前ですが、AIを一般の人の道具に変えた歴史的な技術です。