← 概念解説に戻る

Concept Fable

困惑度

先に結論:困惑度は言語モデルの評価指標で、モデルがテキスト系列を予測する難易度を測る。困惑度が低いほど、通常はモデルがそのテキスト分布をよく予測していることを示す。言語モデリングや同種コーパスへの適合度の評価に適しているが、Agent のタスク完了率、事実正確性、安全性、ツール呼び出し能力を直接表すものではない。企業評価では、Perplexity は基盤モデルの観察指標として使えるが、業務タスク評価、人手評価、軌跡評価、安全評価と併用しなければならない。

Perplexity · Evaluation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

写字生が次の一文字を当てる難しさ

松風館には写本師の一団がいて、古い巻物の欠けた字を補うことを専門にしていた。昔は欠けが少なく、前後の文も明確で、老いた師匠は文脈を見ればどの字を補うべきかほとんど推測できた。後に館は外国の詩、薬方、帳簿、船図を収集した。欠けた字はますます増え、文体も雑多になった。写本師はしばしば手を止めた。同じ位置に複数の合理的な答えがあり得るからだ。

館長の素朴な修正は、皆にもっと速く補わせることだった。誰が停顿少ないかで、良い写し手と評価された。その結果、多くの者がよくある字で無理に埋め始め、答案は読みやすくなったが、処方箋や帳簿を台無しにした。

ある校勘師は方法を変えた。最終的にどの字を補ったかを見るだけでなく、写字生が各欠落の前でどれほど迷ったかを見た。文脈が十分に明確なら、良い答えはよく集中するはずである。可能性が分散していれば、その巻は予測しにくいということだ。

彼は各写字生に標準的な残巻を一批ずつ与え、一字ずつ予測させ、正しい字に対する確信度を記録した。一箇所当てたことで祝うのではなく、巻全体が平均してどれだけ予測しにくいかを見た。

詩では優れた成績を収める写字生が、処方箋ではいつもためらっていた。別の写字生は帳簿用語を安定して予測できるが、美しい文章は書けなかった。館長は、低いためらいがすべてのタスクで良いとは限らないと気づき始めた。

後にこのスコアで誰が独立して書物を修復できるかを決めようとする者が現れた。校勘師は止めた。それは言語予測がテキストにどれだけ適合するかを測れるが、事実の正確さ、ツールの正しい使用、タスクの完了を保証するものではない。

そこで松風館はこのスコアを適切な位置に置いた。言語の基礎力を訓練するときはこれを参照し、同種のテキストを比較するときもこれを参照する。実際に納品する前には、人的な校勘、事実確認、用途に基づく検収も必要である。校勘師はさらに気づいた。一人の写字生は慣れた文体ではためらいが少ないが、未知の巻冊に移るとためらいが増える。したがってスコアは、テキストがその人の訓練経験にどれだけ近いかを露呈できるが、薬性や歴史をその人に代わって理解することはできない。校勘師は館長にも注意を促した。ためらいが少ないことは時に危険でもある。写字生が誤った答えに特に自信を持っている場合、スコアは彼が正しい字を前に置いていないことを露呈する。巻全体の文体が未知であれば、ためらいの増加は単に材料が彼の慣れた範囲を超えているだけかもしれない。

館長は最後に悟った。ある文がどれほど予測されやすいかを知ることは有用だが、それは文字の流れを理解するための一つの物差しにすぎず、すべての知能を測る秤ではない。

明らかにする

この物語が語っているのは:困惑度

困惑度は言語モデルの評価指標で、モデルがテキスト系列を予測する難易度を測る。困惑度が低いほど、通常はモデルがそのテキスト分布をよく予測していることを示す。言語モデリングや同種コーパスへの適合度の評価に適しているが、Agent のタスク完了率、事実正確性、安全性、ツール呼び出し能力を直接表すものではない。企業評価では、Perplexity は基盤モデルの観察指標として使えるが、業務タスク評価、人手評価、軌跡評価、安全評価と併用しなければならない。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 残巻の欠字:言語モデルの next-token prediction タスク
  • 写本僧のためらい:モデルの次のトークンに対する不確実性
  • 標準残巻:困惑度の計算に使う評価コーパス
  • 詩と処方箋の違い:異なるデータ分布上の指標は単純に同一視できない
  • よくある字を無理に埋める:低層の言語流暢さはタスクの正しさを意味しない
  • 人手による校勘と用途検収:事実、業務、セキュリティ面の追加評価
  • 最終的な洞察:Perplexityは予測テキストの適合度を測るものであり、Agentの納品品質を測るものではない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

言語モデルcross-entropy評価next-token prediction
京ICP备2026014272号