← 概念解説に戻る

Concept Fable

Logits

先に結論:Logits は、モデルが softmax で確率に変換する前に出力する生のスコアである。デコードパラメータ、制約、禁止語、温度スケーリング、サンプリング戦略はすべて logits またはその変換後の分布に作用する。logits を理解することは、モデルがなぜ特定の token に偏るのかを説明する助けとなり、企業シーンにおけるセンシティブワードの抑制、フォーマット制約、信頼度分析、生成のデバッグも支える。

Logits · Decoding

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

銅秤がまだ価格札に替わる前

薬舗に候補皿が一つあった。徒弟が処方を求めるたび、老師匠はまず使う可能性のある薬味を皿に入れ、各薬味のそばに高低の異なる小石を置いた。石が高いほど、今その薬味を選ぶ方に傾いている。皿の小石は毎日変わった。客の症状が違い、季節が違えば、薬味のそばの高低も違う。徒弟が昨日の最高だけを覚えていれば、今日は間違って掴むかもしれない。

新しい徒弟は石を見て、一番高いものが必ず処方に入ると思った。師匠は首を振った。石はまだ最終的な抽選配分ではなく、ただの元の傾向にすぎない。大きく差がつく薬もあれば、抽選に換算するとほぼ必ず選ばれる。ほんの少ししか差がない薬もあり、換算後もなお複数の可能性が残る。

店主は安全のため、毎回最も薬味の強いものだけを取るよう定めていた。普通の軽い病気ならまだしも、複雑な症状には硬直的すぎた。後に彼は学徒にすべての薬から無作為に抽選させたところ、非常に低い小石まで処方に混ざり、危うく間違いを起こしかけた。無作為抽選の回は特に恐ろしかった。処方に入れるべきではない烈薬が選ばれ、老師匠が間一髪で止め、客に損をさせずに済んだ。

老師匠は彼らに、まず小石を抽選可能な配分に替え、次に場面ごとに規則を加えるよう教えた。急症では最高値に偏らせてよく、多様な試し方が必要な時は次点の薬にも機会を与えてよい。上位数味の候補だけを残すなら、盤外の薬はもはや入れてはならない。配分に替える方法も性質を変える。配分を尖らせすぎるとほぼ毎回最高値を取り、平らにしすぎると低傾向の薬もよく出てくる。

ある振り返りで、客はなぜある薬味を選ばなかったのかと尋ねた。師匠は最後のくじ引きだけを見るのではなく、その時の小石の高さを引き出した。その薬味はもともと傾向が非常に低く、後のくじ引きの規則がそれを完全に除外したのだった。

後に店主が処方がなぜ変わったのかを尋ねると、徒弟は同時に二つのものを差し出した。その時の小石の高さ、そして後にどのように抽選の割合に変わったか。最後にどの薬を受け取ったかだけを見ても、選択前の傾向は見えない。

学徒はついに理解した。候補盤上の最初の高低は答えではないが、答えがどこから来るかを決める。一度の選択を説明するには、元の傾向を見るだけでなく、それがどのように換算され、ふるい落とされ、あるいは抽選されたかを見る必要がある。

明らかにする

この物語が語るのは:Logits

Logits は、モデルが softmax で確率に変換する前に出力する生のスコアである。デコードパラメータ、制約、禁止語、温度スケーリング、サンプリング戦略はすべて logits またはその変換後の分布に作用する。logits を理解することは、モデルがなぜ特定の token に偏るのかを説明する助けとなり、企業シーンにおけるセンシティブワードの抑制、フォーマット制約、信頼度分析、生成のデバッグも支える。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 銅秤の元の重量差:モデル出力の logits
  • 処方ルールと禁忌:業務制約と安全フィルタ
  • 確率に変換する:softmax などの分布変換
  • 生のスコアを最終選択と誤認する:logits と出力確率/回答の混同
  • 語頻度の異常を分析:logits を通じて生成行動を分析する

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

softmaxtoken probabilitydecodingtemperature
京ICP备2026014272号