← 概念解説に戻る

Concept Fable

人間のフィードバックによる強化学習

RLHF(Reinforcement Learning from Human Feedback)· アラインメント技術

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

告示の書き方を学ぶ書記

説書館は新しい説書人を訓練していた。最初、師匠は名家の原稿を見せ、それを暗唱させた。弟子は文型は学べたが、聴衆がいつ飽き、いつ困惑するかはよく分からなかった。

館主は聴衆に小豆と黒豆を残すよう求めた。どの部分が明確か、どこが冗長か、どの言葉が気分を害したか、どこで続きを聞きたくなったか。弟子たちは毎晩豆を見て、翌日話し方を調整した。

すぐに誰かが要領よく立ち回ることを覚えた。冗談を多く語れば小豆は増えるが、物語の本筋は散らばる。前列の常連にばかり迎合すれば、後列の新客には理解できない。館主はそこで評豆人をより多様にし、安全、真実、完全性も減点項目に加えた。

弟子はもはや名家の稿を模倣するだけでなく、人の選好と制約の中で繰り返し修正する。師匠は依然として手本を示すが、真に変化を促すのは、聴衆が継続的に発する選択シグナルである。

館主はまた、豆そのものが人を悪く導くことも発見した。もし賑わいだけを報酬にすれば、弟子は笑いを取ることを学ぶ。もし豆の評価者が常連ばかりなら、新客の困惑は誰にも聞かれない。そこで彼は評価を明確、真実、礼儀、完全、安全のいくつかの欄に分けた。

数ラウンドの後、弟子たちは名家のように語るだけでなく、聴衆の境界もより理解した。師匠の原稿は出発点を与え、赤豆と黒豆が彼らを現実の反応へ引き戻した。毎回の調整では、媚びることを進歩と誤認しないよう防がねばならない。

ある弟子が、豆評価人が厳しすぎると不平を言った。館主は録音した物語を一度聴かせた。前の列は大きな声で笑ったが、後ろの列は肝心な転換点を聞き取れていなかった。人のフィードバックとは拍手の大きさではなく、異なる人々の実際の反応を練習の机に持ち帰ることだ。 後に書館は弟子に二つの記録を見せた。一つは師匠の手本、もう一つは聴衆のフィードバックだ。前者はどう始めるかを教え、後者はどこがずれたかを告げる。模範文だけ学べば似てしまい、拍手だけ聞けば浮つく。両方とも制約されなければならない。 弟子の上達はやや遅くなったが、もう最も大きな拍手だけを追いかけなくなった。

語り部の館は最終的に、聴衆により寄り添える講演者たちを得た。人のフィードバックは飾りではなく、「聞き心地がよい」「役に立つ」「傷つけない」といった基準を、学習可能な方向へと変えるものである。料理人もまた、称賛そのものは価値がなく、悪い習慣を安定的に改めさせる称賛だけが役に立つと記した。

明らかにする

この物語が語るのは:人間のフィードバックに基づく強化学習

通常はまずモデルに生成を学ばせ、次に複数の回答に対する人間の選好比較を集め、その選好で報酬モデルを訓練し、最後に強化学習でモデルを調整して、出力を人間の選好に近い方向へ導く。

RLHFの重点は、人間がすべての回答を一字一句直すことではなく、大量の「どちらがより良いか」という判断を学習可能な報酬シグナルに変えることにある。有用性、礼儀、安全性、指示追従を改善できるが、報酬設計を誤ると、モデルが本当に問題を解決するのではなく評価者に媚びることを学んでしまう。

メタファーのマッピング

  • 阿衡はもともとこう書いていました:事前学習または教師あり微調整後のモデル
  • 二つの告示の比較:人間の選好データ
  • 判定先生:報酬モデル
  • 高得点に従って練習を続ける:強化学習微調整
  • 美しい空話が高得点:報酬ハッキングと選好信号の歪み

Andy(任旭)判断

RLHF が解決するのは「モデルは生成できるが、必ずしも人が望む方法で生成するとは限らない」という問題である。業務 Agent では、選好データが実際の顧客の選択に近いほど、モデルの行動は納品可能な結果に近づく。

アラインメント訓練選好モデルPPODPO
京ICP备2026014272号