← 概念解説に戻る

Concept Fable

棄却サンプリング

先に結論:Rejection Sampling は AI トレーニングにおいて、複数の候補出力を生成し、品質基準に基づいて合格サンプルのみを保持し、より高品質な微調整や選好データを構築することを指すことが多い。データ品質を向上させられるが、フィルター、報酬モデル、人手アノテーションの信頼性に依存する。企業はこれを用いて高品質なカスタマーサポート返信、ツール呼び出し軌跡、RAG 回答、タスク実行サンプルを蓄積できる。

Rejection Sampling · Fine-tuning

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

まず百の杯を焼き、それから十二を残す

磁器窯で杯を焼くと、窯出し後にはどうしても高低が不揃いになる。職人はすべてを献上品にはできず、光の下で一つずつ選ぶ。割れ口、歪んだ底、釉色の濁ったものは脇に置き、合格したものだけに印を押す。

弟子が尋ねた。どうせ失うなら、なぜ最初から良い杯だけを焼かないのか。師匠は言った。火加減には変動があり、土にも気性がある。何個か多く焼いてから選ぶ方が、完璧な一個に賭けるより安定することが多い。

第一回の選別は粗すぎて、多くの杯は円に見えても、熱い茶を注ぐと水が滲んだ。第二回で親方は水試し、音の打診、平らに置く検査を加えた。選別されるものはより多くなり、残るものもより信頼できるようになった。

しかし窯主も帳簿を見た:焼きすぎると薪が費え、選びすぎると杯を納められない。そこで彼らは貢品、日用、練習杯で異なる閾値を分けた。

窯主はかつて、最も心を込めた杯を一つだけ焼いてみたことがある。親方は一晩中見守ったが、窯出しのとき、一陣の冷風でやはり割れた。また基準を下げてみると、杯はどれも売れたが、献上では半車が返された。

その後、窯では用途別に多めに焼き、窯出し後に灯下、机上、水中の三段階で選別した。割れたものは捨て、少し歪んだものは茶屋に売り、釉色の正しいものは役所に送った。悪い杯を除くのは無駄に見えるが、最終的に納める杯はより安定する。火と泥には不確実性があり、まず複数の候補を生成し、基準に従って不合格を拒否する方が、一度の完璧に賭けるより信頼できることが多い。

窯主もコストに応じて数量を管理することを学んだ。候補が少なすぎれば良い杯を選べず、焼きすぎれば薪を浪費する。真の技量とは、何個生成し、どんな基準で選別し、拒否された杯を別用途に回せるかどうかを知ることである。窯主もコストに応じて数量を管理することを学んだ。候補が少なすぎれば良い杯を選べず、焼きすぎれば薪を浪費する。真の技量とは、何個生成し、どんな基準で選別し、拒否された杯を別用途に回せるかどうかを知ることである。窯主もコストに応じて数量を管理することを学んだ。候補が少なすぎれば良い杯を選べず、焼きすぎれば薪を浪費する。真の技量とは、何個生成し、どんな基準で選別し、拒否された杯を別用途に回せるかどうかを知ることである。

この方法は、まず複数の候補を生成し、基準に従って不合格のものを拒否することに依拠する。それは良い窯芸の代わりにはならないが、不確実な窯出しの結果の中で、最終的に納める品質を高めることができる。

明らかにする

この物語が語るのは:拒絶サンプリング

Rejection Sampling は AI トレーニングにおいて、複数の候補出力を生成し、品質基準に基づいて合格サンプルのみを保持し、より高品質な微調整や選好データを構築することを指すことが多い。データ品質を向上させられるが、フィルター、報酬モデル、人手アノテーションの信頼性に依存する。企業はこれを用いて高品質なカスタマーサポート返信、ツール呼び出し軌跡、RAG 回答、タスク実行サンプルを蓄積できる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 杯を多く焼く:複数の候補出力を生成する
  • 明確な基準で選別:ルール、reward model、eval、または人手フィルタリング
  • 見本の杯を残して新学徒に教える:選別サンプルで継続訓練する
  • 評価者の選好エラー:選別基準がモデルの行動を形成する
  • 多く生成することは目的ではない:品質のしきい値がデータの価値を決める

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

best-of-Nself-improvementSFTRLHF
京ICP备2026014272号