← 概念辨析に戻る

Concept Contrast Fable

固定でいくつか選ぶ方式と累積確率で選ぶ方式

先に結論:Top-kサンプリングは確率が最も高い上位k個の単語からランダムに選び、候補集合の大きさは固定される。Top-pサンプリングは累積確率の閾値で候補集合の大きさを動的に決める——確率分布が集中しているほど候補集合は小さく、平坦なほど大きくなる。どちらも生成の多様性を制御するが、一方は固定数、もう一方は適応閾値を使う。

Top-kサンプリングは確率が最も高い上位k個の単語からランダムに選び、候補集合の大きさは固定される。Top-pサンプリングは累積確率の閾値で候補集合の大きさを動的に決める——確率分布が集中しているほど候補集合は小さく、平坦なほど大きくなる。どちらも生成の多様性を制御するが、一方は固定数、もう一方は適応閾値を使う。

寓話

豆を選ぶ二人の農婦、一人は毎回一掴みし、一人は豆の大きさを見る

町の豆屋には二人の農婦がいて、豆を選んで鍋で豆乳を煮るのを担当していた。張おばさんの規則は簡単で、毎回最も大きい十粒だけを残し、その十粒が山全体の中でどれほどの割合を占めるかは気にしない。李おばさんは決まった粒数を数えず、まず今日の豆の山全体の大きさを見てから、主な味を十分に代表する豆の一群を残した。

最初の荷は上質な東北産の大豆で、粒々がふっくらと揃っていた。張おばさんは十粒残し、李おばさんは四五粒だけ残したが、二つの鍋の豆乳の味はほぼ同じだった。豆の山自体が非常に集中しているときは、固定数と主味を見る方法に、それほど差は現れない。

第二の荷は雑豆で、大きさは緑豆から蚕豆まであった。張婶はいつも通り最大の十粒を残し、鍋にはほぼ東北大豆だけが残った。李婶は合わせて大半の風味を代表できる豆を残し、数はずっと多く、味も元の雑豆の山に近かった。

店主は最初、張婶の安定性を誇った:毎日十粒で、帳簿が最も付けやすい。しかし客はすぐに不満を言い、雑豆の日の豆乳はレシピが変わったようだった。固定数はルールを簡単にするが、豆の山が分散すると早すぎる段階で中間の味を失う。

三日目、豆の山に大きな石がいくつか混ざった。張おばさんの十粒には石が入りかけた。それらも前に並んでいたからだ。李おばさんはまず主味が十分かを見て、それから明らかに鍋に入れるべきでないものを取り除いた。二人とも異物を防ぐが、防ぎ方が違う。

店主はまた統一規則を作ろうとした。以後はすべて二十粒残す、と。李婶は首を振った。豆の山が集中しているとき、二十粒では広すぎ、余計な雑味が入る。豆の山が散らばっているとき、二十粒では足りないかもしれない。問題は数の大小ではなく、規則がその日の分布に応じて伸縮するかどうかにある。

後に豆舗は両方の方法を保持した。安定して制御しやすい時は固定顆数を使い、原料の濃淡に応じて調整する時は累計主味を見る。店主も理解した。選択範囲は大きければ大きいほど良いのではなく、鍵は固定の敷居が保持すべき可能性を早すぎる段階で閉め出さないことだと。

後に宴席に遭遇すると、店主はまず客に、安定を望むか風味の変化を残すかを尋ねた。どの椀も味を近づけたいなら、縁の豆を少なめに残す。その日の豆の山の層次を表したいなら、残す豆の範囲を主味に沿って広げる。二人の農婦が争っていたのは、誰がより豆を選ぶのがうまいかではなく、どの閾値がその日の鍋に適しているかだった。豆舗もまた「どれだけ残すか」を孤立した数字として扱わず、その日の豆の山の集中度と合わせて見るようになった。閾値が情勢に応じて変わらなければ、ある日には頑固に見える。

Top-k サンプリング

確率が最も高い上位 k 個の語からランダムに選ぶ。k は固定の整数で、候補集合の大きさは確率分布に影響されない。単純で直感的だが、分布が平坦なときは妥当な選択肢を漏らすことがあり、分布が尖っているときは低確率のノイズを取り込むことがある。

Top-pサンプリング(核サンプリング)

累積確率閾値pに基づいて候補集合の大きさを動的に決める。分布が集中していれば候補集合は小さく、分布が平坦なら候補集合は大きい。適応力は高いが、極端な分布では候補集合の大きさが大きく変動する。

物語の対応

  • 張おばさんは常に十粒つかむ:Top-kサンプリング、候補集合が固定で分布に応じて変化しない
  • 李婶は豆の山を見てどれだけ残すか決める:Top-p サンプリング、累積確率に応じて候補集合の大きさを動的に決める
  • 良い豆の山は二つの鍋でほぼ同じ:分布が集中していると Top-k と Top-p の効果は近い
  • 雑豆の山は差異が顕著:分布が平坦なとき、Top-k は大量の妥当な候補を捨てる可能性がある
  • 小石の混入:固定kはノイズに敏感で、Top-pは適応的に調整してノイズを遮断できる
  • 2つの方法を併用する:まずTop-pで範囲を定め、次にTop-kで固定数を取るのが一般的な組み合わせ

生成パラメータの組み合わせ設計に落とし込む

Top-k と Top-p は独立して使うことも組み合わせて使うこともできる。組み合わせる場合は、先に Top-p で絞り込み、次に Top-k で打ち切るのが一般的な順序だ——まず確率分布に範囲を決めさせ、固定数で最後の制約をかける。Top-k を単独で使うのは、出力が安定し予測可能であることが求められる場面に適しているが、k の値はあなたの具体的な分布に応じて調整する必要がある。Top-p を単独で使うのは、入力の多様性が大きい場面に適しており、p 値は 0.9 前後が多くのタスクの合理的な出発点だ。テスト時はデフォルト値だけを使うのではなく、実際の業務データで候補集合のサイズの分布を見るべきだ。

京ICP备2026014272号