← 概念辨析に戻る

Concept Contrast Fable

まず答えを見て練習し、次に好みで採点してからまた練習する

先に結論:教師あり微調整はラベル付きの質問応答ペアでモデルを直接訓練し、RLHF はまず人間の選好で報酬モデルを訓練し、次に強化学習でモデル出力を最適化します。二つの手順は同じ訓練パイプラインに現れることがよくありますが、一方はモデルに正解を学ばせ、もう一方は複数の妥当な答えの中からより好まれるものを選ばせます。

教師あり微調整はラベル付きの質問応答ペアでモデルを直接訓練し、RLHF はまず人間の選好で報酬モデルを訓練し、次に強化学習でモデル出力を最適化します。二つの手順は同じ訓練パイプラインに現れることがよくありますが、一方はモデルに正解を学ばせ、もう一方は複数の妥当な答えの中からより好まれるものを選ばせます。

寓話

二人の教師、一人は模範文を暗記し、一人は答案を添削する

町に新しく二つの私塾が開かれ、まったく異なる教授法を用いていた。東塾の秦先生は手元に千篇の模範文を持っている——どの問題にも標準解答がある。学生が一篇を暗唱すると、秦先生は模範文と照らし合わせて一字ずつ直し、間違えれば減点、正しければ加点する。西塾の方先生は模範文を持たず、学生に自分で書かせ、書き終えたら数人の閲巻先生に採点させる——正しいかどうかではなく、良いかもっと良いか。点の高い答案は巻庫に登録され、次に似た問題を書くとき、学生はまず巻庫でどのスタイルが高得点かを確認し、それから自分で調整する。

県試の初年度、二つの私塾の生徒がともに府学に合格し、成績は互角だった。秦先生の生徒は書き取りが正確で、経典の引用は一字も違わなかった。方先生の生徒は文章が流暢で、考官が答案に丸を付け「妙」と批評した段落もあった。町の親たちは両方とも欲しがり、どちらの先生の教え方が良いか議論し始めた。

矛盾は次の科試で現れた。出題は経文の暗唱から策論に変わり、現在の漕運の三つの弊害を分析し改善案を述べよという。標準答案はない。秦先生の学生は模範文の治水の三段論法を答案に当てはめ、整った字で書いたが漕運の実情と合わなかった。方先生の学生は暗唱できる模範文がなかったが、巻庫に以前の閲巻先生が好んだ策論のスタイルが保存されており、その方向に沿って書き、大部分が採点ポイントを踏んだ。

秦氏は方氏を訪ね、その教授法を自分の生徒にも教えられるかと尋ねた。方氏は逆に問い返した:あなたの生徒がまず模範文を見て基本の答えを正しく書けるようになってから、私の答案庫の一式の装置で選好を練習した方が、効果は高くならないか?秦氏は二つの段階をつなげてみた——最初の三か月は模範文を暗記して基礎を固め、次の二か月は答案庫で選好を練習する。次の期の生徒は案の定、策論と黙写の両方の科目で高得点を取った。

秦先生がもっと早く気づかなかったことを後悔した細部が一つある。彼の学生は模範文を暗記する段階で、時々模範文の誤りを覚えてしまった。例えば模範文が洛陽の糧倉の容量を十万石と書いていたが、実際は八万石だった。この誤りが学生の基礎知識に入ると、後に巻庫で選好を練習しても、基数が間違っていることに誰も気づかず、皆で間違った答えの上で選好順位を最適化し、練習するほど実際の状況から離れていった。

私塾は後にカリキュラムに線を引いた。基礎回答の正確性が左、選好最適化が右。左の教材は定期的な検証が必要で、右の選好問題集も定期的な調整が必要だ。二つの段階を一つの段階に混ぜてはならず、左の検証を飛ばして右の最適化に直接進んでもならない。

秦さんの弟子は後にこの二段階を教授法にした。学生はまず正解がどのようなものかを見て、次に採点者の好みが何かを見る。二つの段階は異なる資料、異なる評価方法、異なる誤り訂正の仕組みを使う。

教師ありファインチューニング

アノテーション済みの入力と出力のペアでモデルを直接訓練し、モデルに具体的なタスクの標準解答を学習させる。高品質なアノテーションデータに依存し、RLHF 訓練プロセスでよく見られる第一段階である。

人間のフィードバックによる強化学習

まず人間によるモデル出力の選好順位を収集して報酬モデルを訓練し、次に強化学習アルゴリズムでモデル出力を最適化してより高い報酬を得る。標準解答を教えるのではなく、モデルが合理的な選択肢の中でより好まれるものを選ぶ方法を教える。

物語の対応

  • 秦先生が模範文を暗記する:SFT、標準解答で直接訓練する
  • 方先生の巻物倉庫採点:RLHF、人間の選好で報酬モデルを訓練してから最適化
  • 策論試験が露呈した差異:SFT は標準解答に依存する場面での外挿的汎化が限定的
  • まず模範解答を暗記してから答案庫へ:SFT と RLHF が二段階の訓練パイプラインを構成する
  • 範文の中のエラー基数:SFT段階のデータエラーはRLHF段階に伝導する
  • 左右を分ける線を引く:二つの段階の評価指標と誤り訂正の仕組みは独立して設計する必要がある

大規模モデル訓練パイプライン設計に落とし込む

訓練プロセスを設計するとき、まずデータの形態を問う——高品質の標準回答ペアがあれば、SFTがまず土台を固める。選好順位と比較データしかなければ、RLHFは避けて通れない道だ。ほとんどの本番級パイプラインはSFTが先、RLHFが後で、順序が重要だ——SFT段階のデータエラーはRLHF段階の選好最適化によって増幅される。二つの段階の評価は分けるべきだ:SFTは正確率を見て、RLHFは選好評価または対抗勝率を見る。

京ICP备2026014272号