← 概念解説に戻る

Concept Fable

トークン予算

先に結論:Token 予算は、任務、リクエスト、ユーザー、またはワークフローに割り当てられる token の上限である。プロンプト長、検索コンテキスト、ツール出力、モデル推論空間、回答長を制御する。

Token Budget · Cost / context

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

書記は各審案に灯油を一袋だけ支給した

県衙の裁判は夜に巻宗をめくることに頼っていた。早年は案件が少なく、書記は好きなだけ灯りを点せ、油庫は決して逼迫しなかった。

後に商事紛争、地券争い、遠方からの手紙が一斉に押し寄せた。どの案件も自分は複雑だと主張し、書記たちは旧巻、新証、傍証をすべて机に広げ、灯油はすぐに底を突いた。

県令はまず文書ファイルをあまり見ないよう命じた。その結果、簡単な案件はまだよかったが、複雑な案件では重要な証拠を見落とし、判決後にまた覆された。

彼はまた人別に油を配り、各書記に毎日一桶ずつ与えた。ある者は簡単な案件に油を使い、ある者は保険のために小さな案件も夜明けまで調べ続け、本当に緊急の案件には油が残らなかった。

ある主簿は案件ごとに油袋を配る方式に変えた。普通の案件には小袋、難解な案件には大袋、上訴案件には別途予備を用意し、油袋を超えるにはなぜ灯をともし続けるか説明を要した。

書記たちは開案前に、どの巻宗が読む価値があり、どれは要約だけでよく、どの証拠は最後の照合まで保存すべきかを決め始めた。数か月後、県衙は油袋を罰として扱わなくなった。それは審案前の計画のようなものだ。限られた光をどこに照らすかが、どの事実を見えるようにするかを決める。予算がなければ、勤勉さも油庫全体を空にしてしまう。

油が突然増えたわけではないが、役所は月末に麻痺しなくなった。複雑な案件は十分な灯油を得られ、小さな案件も無意識に全庫を焼き尽くすことはない。主簿はさらに余油櫃を設け、突然現れた新証拠、臨時上訴、県令が指名して再審する案件のために取っておき、すべての書記が最初から油を焼き尽くすのを防いだ。

県令は理解した。限られた灯油と人力は、事後の愚痴で管理するのではなく、各案件の開始前に予算としなければならない。主簿はさらに書記のために取捨の方法を用意した。案巻はまず目録を見て、旧証はまず摘要を見て、重要条項は最後に照合する。要点にもっと灯りが必要なら、追加の灯油がどの判断と引き換えになるかを説明しなければならない。再検査の際には、彼らはいくつかの旧案を抜き取り、油袋の大きさが案件に見合っているかを見て、簡単な案件で過度に巻をめくらず、難解な案件で肝心なところで灯りが消えることを避けた。書記たちもまた、すべての巻宗を灯りの下に運ぶのではなく、判案にどんな光が必要かを先に問うことを学んだ。

明らかにする

この物語が語るのは:Token予算

Token 予算は、任務、リクエスト、ユーザー、またはワークフローに割り当てられる token の上限である。プロンプト長、検索コンテキスト、ツール出力、モデル推論空間、回答長を制御する。

企業 Agent システムでは、Token 予算はコスト、遅延、コンテキスト規律、サービス粗利の制御面である。予算がなければ、モデルは安価なタスクを高価なタスクに走らせやすい。

メタファーのマッピング

  • 灯油:利用可能な token と関連する推論コスト
  • 各審理:1回の LLM/Agent タスク
  • 巻宗:コンテキスト、検索内容、ツール出力
  • 人別の燃料配分:粗い全局限額
  • 案件ごとに油袋を配る:タスク/ワークフローごとにtoken budgetを配分する
  • 超過説明:予算オーバーフロー戦略とコストガバナンス

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

context windowコスト管理
京ICP备2026014272号