← 概念解説に戻る

Concept Fable

推論

先に結論:ここでの inference はモデル推論またはモデル実行を指す。訓練済みモデルを新しい入力に用いて出力を生成することだ。人間の意味での論理的推論ではなく、モデルが現在のリクエストに対して計算を実行することである。

Inference · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

訓練された司炉工が初めて未知の注文に直面する

鉄器舗に一人の司炉工がいた。三年かけて火加減、鉄の色、鎚法を学んだ。師匠は彼に千本以上の刀、鍬、蝶番を見せ、ついに彼は各材料をどう扱うべきかを暗唱できるようになった。

学成の日、城外から見知らぬ注文が来た。塩霧の海船に使う細長い鉤刀である。本には同じ図がなく、師匠も代わりに手を動かさず、学んだ通りに現場で作らせた。

火夫はまず学んだすべての様式を引っ張り出し、完全に同じ図を探そうとした。見つからないと、三年間の再教育を要求しかけ、再訓練だけが炉を開く資格を与えるかのようだった。

師匠は彼に注意を促した:訓練はすでに終わっており、今やるべきは学んだ規則を新しい入力に適用することだ。過去の教材を書き換えるのではなく、今の炉の中で1つの結果を出すだけである。

火夫は塩霧、船縄、握り手、力の方向を観察し始め、火の温度、槌を打つ順序、冷却時間を決めた。各ステップは炭火を消費し、待ち時間もある。遅ければ客はいら立ち、粗くやれば刀は折れる。

いくつかの注文はまとめて加熱できるが、個別に処理しなければならないものもある。親方は彼に、受注から第一打までの時間、総炭消費量、最終製品が合格したかどうかを記録させた。

数か月後、店は本当のボトルネックが鉄を打てるかどうかではなく、新規注文が来た後にコスト、速度、品質の間で安定して生産する方法にあると気づいた。

火夫はついに理解した。一つの技能を身につけることと、その技能を毎回の新しい依頼に適用して結果を出すことは別だ。後者こそが、店が毎日対外的に約束する現場能力である。その後、火夫が弟子を連れるときにも同じ誤解が起きた。弟子は古い図面を暗記すればすべての注文に対応できると思い、別の者は見慣れない品に遭遇すれば炉に戻って学び直さなければならないと思った。火夫は彼らにそれぞれ変形フックナイフを打たせ、図面を見ること、材料を選ぶこと、加熱から納品までの全過程を記録させた。そこで皆は、現場の産出がすでに学んだ規則に依存しつつ、現在の炭火、待ち行列、品質要求にも制約されることをはっきり見た。その後、店は異なる注文の炭消費と手直しも記録した。火夫は一度で正しく作ることだけを追い求めず、毎回の現場の仕事にどれだけの代価がかかったかも知るようになった。新しい注文の一枚一枚が、本当の現場使用である。店の約束は、この一歩にかかっている。毎回の納品は実際の資源を消費している。

明らかにする

この物語が語るのは:推論

ここでの inference はモデル推論またはモデル実行を指す。訓練済みモデルを新しい入力に用いて出力を生成することだ。人間の意味での論理的推論ではなく、モデルが現在のリクエストに対して計算を実行することである。

LLM システムにおいて、推論にはプロンプト処理、プリフィル、デコード、サンプリング、バッチ処理、サービング遅延、コスト制御が含まれる。通常はモデルの重みを更新せず、すでに訓練済みのモデルを使って現在の回答を出すだけである。

メタファーのマッピング

  • 三年の修業:モデル訓練
  • 未知の注文:新しい入力またはプロンプト
  • 現場で炉を開く:推論を実行する
  • 教材を書き換えることはない:通常の推論ではモデルの重みは更新されない
  • 受注から第一打まで:最初のトークン待ち時間 / プリフィル遅延
  • 総炭消費量:計算コストと token コスト

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

servinglatencydecodingbatch sizeprompt

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号