← 概念解説に戻る

Concept Fable

分かち書き

先に結論:Tokenizationとは、生のテキストをモデルが処理できるtoken列に変換するプロセスである。一般的な方法にはBPE、SentencePieceなどのサブワード分割方式がある。分詞はtoken数、コンテキスト占有、コスト、速度、多言語性能、コード処理、特殊文字の挙動に影響する。企業システムがコストを見積もり、promptを設計し、ログを処理し、モデルを移行する際には、異なるtokenizerが同じテキストに対して異なるtoken列を生成しうることを認識する必要がある。

トークン化 · トークン化

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

手紙全体を機械が読める木片に切る

古い郵便局が仕分け機を一台買ったが、人の手紙をそのまま読むことはできない。それは番号が刻まれた決まった木片のセットしか認識しない。手紙は機械に入る前に、まずこの木片に切り分けられなければならず、機械が吐き出した番号も、人が読める文に組み戻さなければならない。

最初のうち手紙は簡単で、切片師は単語で切れば十分でした。しかし後には手紙に外国語、人名、品番、表の記号、笑顔、長い住所が入るようになりました。単語で切ると見たことのない語に当たり、文字で切ると細かすぎて、作業台はすぐ木屑でいっぱいになりました。

師匠はまず、見慣れない語に出会うと塊ごと異常箱に放り込んだ。異常箱はますます満杯になり、機械は顧客が最も気にする新製品名、注文番号、固有名を処理できなくなった。郵便配達人は不平を言った。重要な新しいものほど、送り込めなくなる、と。

彼はまた、すべての文字を切り分けるように変えた。機械はいつも読めるようになったが、あまりに多くの木片が必要で、処理が遅くなり、長い手紙を読み終える前に木片箱がいっぱいになった。経理係は、同じ手紙が細かく切られるほど、費用が高くなり、収められる内容が少なくなることに気づいた。

郵局は、切り方そのものが機械に見えるもの、コスト、長い手紙をどれだけ収められるか、そして一部の言語が不利になるかどうかに影響すると気づいた。そこで彼らは切片規則を訓練した。よくある断片はまとめ、稀な語は組み合わせ可能な小片に分割し、空白、句読点、特殊記号にも明確な処理方法を定めた。

最初の版の規則は地元の言葉に偏り、外地の姓名はばらばらに切られてしまった。師匠はさらに各地からの来信を練習の山に加え、よくある組み合わせが自然とより大きな木片に成長し、珍しい組み合わせも依然として分解して組み立てられるようにした。切片化はもはや場当たりの一刀ではなく、再利用可能な取り決めの一式となった。

後に郵便局は新しい選別機を導入し、古い切片の規律はそのまま混用できなくなった。同じ文字でも機械が違えば異なる数の片に切られることがあり、経理係も親方も再校正が必要だ。文字は変わらないが、入口の切り方が変われば、後の計数と理解もそれに従って変わる。

後に経理係が異なる分割方法のコストを集計したところ、ある言語はいつも細かく分割され、同じ一通の手紙を処理するのに多くの木片を要することが分かった。郵局は分割の規則も検収に組み入れた。機械が読めるかどうかだけでなく、どう切り、公平に切れているか、コストが制御可能かも見るようになった。

明らかにする

この物語が語るのは:トークン化

Tokenizationとは、生のテキストをモデルが処理できるtoken列に変換するプロセスである。一般的な方法にはBPE、SentencePieceなどのサブワード分割方式がある。分詞はtoken数、コンテキスト占有、コスト、速度、多言語性能、コード処理、特殊文字の挙動に影響する。企業システムがコストを見積もり、promptを設計し、ログを処理し、モデルを移行する際には、異なるtokenizerが同じテキストに対して異なるtoken列を生成しうることを認識する必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 選別機:モデル
  • 固定された木片と番号:token vocabulary と token IDs
  • トークン化担当の親方:tokenization process
  • 未知語異常箱:未知語を処理できない粗い分割法
  • 文字ごとに切る:細かすぎる粒度がトークンの膨張を招く
  • 頻出断片の統合、希少語の分割:サブワード分割戦略
  • 最終的な洞察:Tokenization はテキストがモデルで計算可能な単位になる方法を決める

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

tokenトークナイザーBPE語彙context window
京ICP备2026014272号