← 概念解説に戻る

Concept Fable

次の単語の予測

先に結論:Next-Token Prediction は、モデルが既存の文脈に基づいて次の token を予測する訓練目標であり、GPT 系の自己回帰言語モデルの中核だ。大規模データから言語、コード、推論パターンを学習できるが、目標そのものは事実の正確さ、権限のコンプライアンス、結果の実行可能性を保証しない。企業 Agent の導入では、RAG、ツール呼び出し、制約付きデコーディング、評価、人手による監督を通じて、生成能力を信頼できる提供に変える必要がある。

Next-Token Prediction · Training

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

一度に一文字だけ書く写経院

写字院は新しい書記を訓練するとき、一度に手紙全体を書かせなかった。師は後ろの文を隠し、前の字だけを見せて、次の字が最も何でありそうかを推測させた。

最初はゲームのように見えた。しかし材料が増えると、書記は次の一文字を当てるために、語気、形式、人物関係、帳簿のつながり、よくある推論を理解しなければならなくなった。小さな動作が、彼に前のすべての手がかりを押さえ込ませた。

院長は直接規則を教えることを試した。契約の書き方、客訴への返し方、帳簿の並べ方、規則本は高く積まれた。新しい書記は暗記に疲れ、見たことのない組み合わせに出会うと依然として筆が止まった。

すべての回答をテンプレートにしようとする人もいた。テンプレートは常連客には対応できるが、実際の手紙の中で半分の不満、二枚の領収書、一つの曖昧な要求が混ざり合うのを防げない。

写字院はそこで引き続き「次の一字」を練習した。習得後、店主の指令、禁区、証拠、受け入れ基準によって、この続きを書く能力を業務の境界内に収めた。

院長は学徒に、書くのが滑らかであることは事実が信頼できることと同じではないと注意を促した。次の一文字は小さく、千万回の練習が汎用的な能力を育てる。本当に難しいのは、この能力を証拠、権限、デリバリーが求められる場所で越境させないことだ。

ある徒弟が、次の一文字を推測するだけなのになぜ手紙全体を書けるのかと尋ねた。師匠は彼に、欠けた帳簿の一節を見せた。次の一文字を正確に推測するには、前の取引、人物、語調、そしてありうる結末を知らなければならない。

学徒はそこでようやく理解した。小さなタスクを繰り返し行うと、大きな構造を学ばざるを得なくなる。しかし師匠はなお、事実確認と印章権限を脇に置かせた。続きを書けることは土台の一つだが、物事を成し遂げるには証拠と規矩に支えられる必要がある。 後に新人が入門するとき、老師匠はまず抽象的な名目を講じるのではなく、あの失敗を振り返らせた:もともとどこが直感に頼っていたのか、最初の修正がなぜ不十分だったのか、新しい取り決めがどうリスクを検査可能な位置に留めるのか。彼らがこれらの細部を説明でき、いつ沿用すべきか、いつ升級すべきかも指摘できるようになって、初めてこの方法を本当に理解したと見なされた。 後に彼らはこの方法を新人の演練にも引き継いだ:まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規矩でやり直させ、どの段階が事前に止められ、どの段階が証拠を残したかを見る。新人が名前を暗記するだけなら、似た場面で依然として乱用する。適用境界、代価、失敗後の補救を語れる者だけが、独立して仕事を引き受けることを許された。

明らかにする

この物語が語るのは:次の単語予測

Next-Token Prediction は、モデルが既存の文脈に基づいて次の token を予測する訓練目標であり、GPT 系の自己回帰言語モデルの中核だ。大規模データから言語、コード、推論パターンを学習できるが、目標そのものは事実の正確さ、権限のコンプライアンス、結果の実行可能性を保証しない。企業 Agent の導入では、RAG、ツール呼び出し、制約付きデコーディング、評価、人手による監督を通じて、生成能力を信頼できる提供に変える必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 毎回次の文字を予測する:next-token prediction
  • すでに見た文字:自己回帰コンテキスト
  • ルールブックとテンプレート:手書きルールではロングテールの組み合わせをカバーできない
  • 指示、選好、ツールプロトコル:ポストトレーニングとシステム統合
  • 最も可能性の高い続き:生成目標の利点とリスク
  • 検索証拠とツール返却:企業信頼性の補強
  • 最後の洞察:汎用的な生成能力は小さな予測の累積から生まれるが、業務の信頼性は外部の制約から生まれる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

自己回帰causal language modelingLLM pre-training
京ICP备2026014272号