← 概念解説に戻る

Concept Fable

モデルルーティング

先に結論:モデルルーティング(Model Routing)とは、タスクの種類、品質要件、コスト、遅延、コンテキスト長、リスク、権限、またはベンダーの状態に応じて、呼び出すモデルを変える仕組みである。これにより、すべてのタスクで最も高価または最も強力なモデルを使うことを避け、重要タスクが低能力のモデルで処理されることも避ける。AI プロダクトとエージェントシステムにとって、モデルルーティングは品質、コスト、速度、粗利に直接影響する。

Model Routing · AI platform / cost optimization

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

すべての手紙に最速の馬を出す必要はない

北郵駅には三種類の馬がいる。黒馬は最も速く、一度走らせるのは高価。灰馬は安定しており速度は中程度。小黄馬は安く、短距離に適している。かつて郵駅は信頼できるように見せるため、どんな手紙にも黒馬を派遣した。

最初、皆は満足していた。急ぎの手紙は速く、普通の手紙も速く、街角の店の請求書まで速かった。月末に勘定をすると、郵便局はひどく損をしていた。局長は値上げしようとしたが、商户は応じなかった。配達を減らそうとすれば、急ぎの用を遅らせるのを恐れた。老郵便配達人は言った。問題は黒馬が悪いことではなく、あなたがすべての手紙を軍令として扱っていることだ。

ある酒屋が販促チラシを送るのにも黒馬を使い、ちょうど軍営の急報を押しのけた。急報は半日遅れ、駅長はようやく「すべてに最強を使う」ことが本当に重要なことを傷つけると知った。

郵便局は手紙の分類を始めた。軍令と期限付き契約は黒馬、通常の商業信用は灰色馬、低リスクの通知と重複請求は小さな黄色馬。悪天候で灰色馬が不安定なら一時的に黒馬に切り替え、黒馬がすべて出払っていれば緊急でない手紙は順番待ちにした。

彼らはまた、各类の手紙の結果も記録した:どの類がよく過小評価され、どの類が無駄な金を使い、どの類が特定の季節にアップグレードを必要とするか。

駅長はまず、すべての長い手紙には黒馬を、短い手紙には小さな黄色い馬を使うと定めた。しかし「至急」の蝋封が押された短い手紙もあれば、商店の雑な帳簿にすぎない長い手紙もあった。長さで分けたことで馬は何頭か節約できたが、本当に急ぎの用事は遅れてしまった。

老駅卒は後に門に三つの問いを加えた:急ぐか、遠いか、間違えられないか。普通の請求書は小黄馬、州をまたぐ契約は灰馬、災害の軍令だけが黒馬を出す。どの馬が常に最良というわけではなく、鍵は各手紙が駅に着いた時点で適切な脚力に送られることだ。郵站はまた改派口も残した。小黄馬が出発前に封筒に急印が補われているのを見つければ、すぐに灰馬に替える。灰馬が途中で吹雪に遭えば、黒馬に引き継ぐこともできる。分派は面子のための事業ではなく、各手紙を使い切れず、届き、間違えられない時に誰かが受け止めるようにするものだ。

数週間後、郵便局は遅くなるどころか、むしろ安定した。最も重要な手紙は依然として速く、普通の手紙は無駄なコストをかけなくなった。局長は理解した。賢さとは常に最強の馬を使うことではなく、いつその金を使う価値があるかを知ることだと。

明らかにする

この物語が語るのは:モデルルーティング

モデルルーティング(Model Routing)とは、タスクの種類、品質要件、コスト、遅延、コンテキスト長、リスク、権限、またはベンダーの状態に応じて、呼び出すモデルを変える仕組みである。これにより、すべてのタスクで最も高価または最も強力なモデルを使うことを避け、重要タスクが低能力のモデルで処理されることも避ける。AI プロダクトとエージェントシステムにとって、モデルルーティングは品質、コスト、速度、粗利に直接影響する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 黒馬、灰馬、小黄馬:異なる能力、コスト、遅延のモデル
  • すべての手紙に黒馬を派遣:すべてのタスクで最強・最高額のモデルを呼び出し、コストが制御不能
  • 軍令、請求書、挨拶:価値・リスク・期限の要件が異なるタスク
  • 手紙の分類で馬を割り当てる:タスク属性に応じてモデルを選ぶ
  • 悪天候で臨時に馬を替える:可用性、故障、レイテンシ、またはリスクに応じてモデルを動的に切り替える
  • 緊急でない手紙は列に並べる:低優先度タスクは遅延またはバッチ処理できる
  • 高い能力にはコストをかける価値がある:モデルルーティングの目的は、品質・コスト・速度の間で戦略的に選択することです

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

モデルゲートウェイfallbackcascadingコスト最適化latencypolicy engine

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号