← 概念解説に戻る

Concept Fable

Top-k サンプリング

先に結論:Top-k Sampling は次のトークン候補を確率が最も高い k 個以内に制限し、そこからサンプリングする。長尾の低品質トークンを削り、ランダムサンプリングの制御不能リスクを下げられる。欠点は k が固定で、確率分布の形状を考慮しないことだ。合理的な選択が k を超えることもあれば、上位 k 個に依然として広すぎる候補が含まれることもある。企業での使用時は通常 temperature、top-p、タスク種別、評価と組み合わせてチューニングする。

Top-kサンプリング · デコーディング

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

上位十名の工匠だけを抽選箱に入れる

灯謎坊は毎晩客に下の句を出す。職人はまず多くの候補句を考える。あるものは優雅で、あるものは平凡で、あるものは新奇だが的外れだ。毎回最も似ている句を選べば、灯謎は安定するが、驚きは少なくなる。

坊主はすべての候補からくじ引きを試した。初夜は雰囲気が盛り上がったが、二夜目には荒唐無稽な下の句が引かれ、客は笑い転げた。完全に開放すると、基準に満たない句まで混ざり込み、賑わいはすぐに制御不能になった。

老匠人はまず敷居を設けることを提案した。毎回、最も有望な上位数句だけを竹筒に入れ、そこから抽選する。これで少しの変化を保ちつつ、末尾の乱れた句を入れさせない。学徒はそれを聞き、上位十名を固定すれば万事大吉だと思った。

喜宴の日、竹筒には十句を入れたが、引かれた句は合格でも荘重さに欠けた。詩会の日は三句だけ入れ、今度は堅苦しすぎた。坊主は彼らに場に応じて調整させた:喜宴は安定を求め、竹筒には三、五句だけ入れる。詩会は新しさを求め、十句入れてもよい。題面が厳粛なら、むしろ少なく入れる。

後に彼らは、この敷居にも粗さがあると気づいた。十位と十一位は時にほとんど同じなのに、無理に隔てられる。時に上位三位が後続を大きく引き離し、十句入れても余計なだけだった。坊主はそれを永遠に正しい法令ではなく、一つの簡単な道具として扱った。

最初の版のくじ引きは、題意の確認も欠けていた。文の順位は高いのに、前文の雰囲気と合わないものもあった。老匠人は見直しを加えた。まず候補の強弱で竹筒に入れ、次に場面と題意を見て筒口をどれだけ広くするか決める。

灯謎坊は最後に習慣を形成した:まず候補を資格ラインに通し、その資格ライン内でランダム性を保つ。こうすることで、ただ硬直することを避け、無茶な発散も避けられる。上位数名をくじ引きにする価値は、変化に対してまず安全な範囲を一圈引いておくことにある。

その後、灯謎坊も時折竹筒を狭め、最も安定した句を直接舞台に上げた。遊園の夜には少し緩め、新奇な句が頭角を現す機会を与えた。坊主は、変化は囲い込まれなければならず、囲いも場に応じて動くことを知っていた。上位何名かを固定するのは道具にすぎず、美意識そのものではない。その後、徒弟は理解した。竹筒の口が広すぎても狭すぎても、一夜の興を損なう。

明らかにする

この物語が語るのは:Top-k サンプリング

Top-k Sampling は次のトークン候補を確率が最も高い k 個以内に制限し、そこからサンプリングする。長尾の低品質トークンを削り、ランダムサンプリングの制御不能リスクを下げられる。欠点は k が固定で、確率分布の形状を考慮しないことだ。合理的な選択が k を超えることもあれば、上位 k 個に依然として広すぎる候補が含まれることもある。企業での使用時は通常 temperature、top-p、タスク種別、評価と組み合わせてチューニングする。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • ロングリスト:すべての可能な token
  • 上位 k 件:確率が最も高い k 個の候補
  • 抽選ボックス:top-k 集合からサンプリング
  • 注文ごとに異なる k:シーン別に多様性とリスクを制御する
  • 合理的な選択を硬く切り捨てる:top-kの固定閾値の限界

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

samplingtop-ptemperaturedecoding

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号