← 概念辨析に戻る

Concept Contrast Fable

全分布を調整し、確率が集中する部分だけを残す

先に結論:温度は生成確率分布全体をスケーリングし、全体の確実性とランダム性を変える。Top-pサンプリングは累積確率が閾値に達する候補語だけを残し、低確率の裾を切り捨てる。二つのパラメータはしばしば同時に現れるが、一方は分布の形を調え、一方は切り取りを行う——混ぜて調整するとモデル出力が予想外の形になる。

温度は生成確率分布全体をスケーリングし、全体の確実性とランダム性を変える。Top-pサンプリングは累積確率が閾値に達する候補語だけを残し、低確率の裾を切り捨てる。二つのパラメータはしばしば同時に現れるが、一方は分布の形を調え、一方は切り取りを行う——混ぜて調整するとモデル出力が予想外の形になる。

寓話

茶葉店には二人の店主がいて、一人は火加減を整え、一人は茶葉を選別する

城東の茶葉店には二人の店主がいて、一緒に茶炒りを管理していた。老周は火加減を担当する——彼の手には温度を調整する銅のつまみがあり、左に回すと火が弱まり茶の味は淡くなり、右に回すと火が強まり茶の味は濃く焦げやすくなる。老呉は茶の選別を担当する——炒り終えた茶葉を竹の篩に注ぎ、彼は網目の口径を定め、網目より小さい砕けた葉はそのまま篩い落とし、篩の上に残ったものだけが店頭に並べられる茶となる。

新しく来た使用人が初日に勤務した。老周は火加減の調整を教え、老呉はふるいの目の大きさの決め方を教えた。使用人は両方を学び、自分で竈に立って一鍋炒った。火加減を最大に絞り、ふるいの目を最小の一档に定めた——茶の味を最も濃くし、同時に最も完全な葉だけにしたかったのだ。鍋から出した後、ふるいの上には大きな葉が七八枚残り、ふるい落とされた砕けた茶葉が一面に敷き詰められた。一鍋全体の出茶率は一割にも満たなかった。

店員は茶舗が自分を騙していると思った。彼は出茶率九割と称する店に教えを請いに行き、その店の火加減は中間位置に捻られ、篩の孔も比較的大きく開いているのを見つけた。火加減が極端でなければ、葉はあまり砕けない。篩の孔がやや大きければ、砕けた葉も一部は通る。出荷量が高い代償は、茶湯に時折砕渣が混じることだ。

老周は番頭を竈の前に呼び、一枚の図を描いた。火加減のつまみは鍋全体の茶の風味の範囲を司る——火が弱ければ全体が薄く、火が強ければ全体が焦げる、これは全局的だ。篩い目の孔径は淘汰線を司る——上に上げれば完全度の要求が高まり砕けた葉がより多く篩い落とされ、下に下げればより多くの葉を通す、これは局所的な裁量だ。全局のパラメータ調整と局所の裁量パラメータは同時に極端まで回せない、互いに押し合うからだ。

店は後に他所からの特注品も受けるようになった。極めて薄い茶を求める者には、老周は火加減を最小に絞り、篩の目はどうでもよかった。砕けても砕けなくても味は薄いからだ。極めて濃く、砕けた渣のない茶を求める者には、老周は火加減を強め、老呉は篩の目を極細にし、出茶率は二割に落ち、一杯の茶は五倍の値段になった。二組のパラメータは組み合わせられるが、その代償は前もって計算しなければならない。

店員が最もよく犯す誤りは、茶の味がすでに非常に薄いのに筛孔を非常に細かくしてしまうことだ——火加減で鍋全体の茶味が薄くなり、筛孔が残った数枚の良い葉まで筛い落とし、出される茶は薄くて砕けている。老周はこれをパラメータ叠殺と呼んだ。二つの無関係に見えるつまみを一緒に間違った方向へ回すと、茶舗には売れるものが残らなくなる。

その後、店にはかまどのそばに鉄の札が掛けられた。火加減は鍋全体を司り、ふるいの目は保持範囲を司る。まず火加減を調整して基調を定め、次にふるいの目を決めて完全性を制御する。二つのつまみを同時に滅茶苦茶に回せば、良い茶葉も灰になってしまう。

温度

モデル出力の確率分布の平滑度を制御する。温度が低いほど分布は尖り、出力は確定的になる。温度が高いほど分布は滑らかになり、出力はランダムになる。softmax の前に logits をグローバルにスケーリングする。

Top-pサンプリング(核サンプリング)

確率の高い語から累積し、累積確率が閾値 p に達する最小の候補集合だけを残し、低確率の裾を切り捨てる。閾値 p が小さいほど候補集合は小さく、出力は保守的になる。温度とは異なる段階で作用する。

物語の対応

  • 老周の温度調節ノブ:温度パラメータ。確率分布を全体的にスケーリングし、全体的なランダム性に影響する
  • 老呉のふるいの目:Top-pパラメータ。低確率の裾を切り、候補集合の大きさを制御する
  • 火加減最大+ふるい目最小:温度と Top-p を同時に極端にすると出力が崩壊する
  • 出茶率九割の店:合理的なパラメータの組み合わせが多様性と品質の間で均衡する
  • ごく薄いお茶にどうでもいい篩の目:温度が低いと Top-p の出力への影響は弱まる
  • パラメータの重ね掛け:temperature と Top-p の相互作用は極端な方向で出力を悪化させる

生成パラメータのチューニングに落とし込む

パラメータ調整には順序の推奨がある。まず温度を決める——温度が基調を定め、次に Top-p を調整して裾を切り取る。温度が 0.3 未満のとき Top-p の影響空間は非常に小さい。確率がすでに高度に集中しているからだ。多様性が必要な場面では温度を優先的に上げ、重複した低品質出力を避ける必要がある場面では Top-p を優先的に締める。本番環境ではよく使うパラメータの組み合わせでグリッドテストを行い、温度と Top-p を同時に極端な方向へ押しやらないことを推奨する。

京ICP备2026014272号