Concept Fable
先に結論：Multi-Query Attention（MQA）は複数の query heads が単一またはより少ない key/value heads を共有し、KV Cache のメモリと帯域幅の需要を大幅に削減します。自己回帰デコード速度とデプロイ効率の向上によく使われます。企業 Agent サービスでは、MQA は長コンテキスト、高並行、低遅延の場面で重要ですが、一部の表現能力を犠牲にする可能性があるため、モデル規模と業務品質要件を組み合わせて評価する必要があります。
Multi-Query Attention, MQA · Architecture
まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。
寓話
駅は毎晩、複数の書記のために記録を調べて返信しなければならなかった。以前は各机に完全な台帳一式が備えられ、8人が同じ古い契約を調べるにもそれぞれが一回ずつめくらなければならず、部屋は重複した箱や棚でいっぱいだった。
駅丞はまず櫃を増やし、写字生を雇ったが、灯油と運搬はむしろ増えていった。後に彼は常用の台帳を一組の公簿に整理し、中央の櫃に置いた。各書記は依然として自分の手紙に基づいて問い合わせるが、同じ一つの検証根拠を共有した。
新規則の導入後も、書記たちは異なる口調と重点で書き続けられるが、同じ旧文書を各自で保管する必要はなくなった。中央の棚は繁忙時のボトルネックとなるため、駅丞は最もよく照会される巻を優先して配置を最適化し、八セットを複製することはしなくなった。
駅が節約したのは重複保存と探し回るコストであり、各人の判断ではない。多くの問題はそれぞれ提起できるが、共通の根拠を毎回すべての机に満載する必要はない。
概念の落としどころ
Multi-Query Attention（MQA）は複数の query heads が単一またはより少ない key/value heads を共有し、KV Cache のメモリと帯域幅の需要を大幅に削減します。自己回帰デコード速度とデプロイ効率の向上によく使われます。企業 Agent サービスでは、MQA は長コンテキスト、高並行、低遅延の場面で重要ですが、一部の表現能力を犠牲にする可能性があるため、モデル規模と業務品質要件を組み合わせて評価する必要があります。
その価値は、抽象的な用語を観察可能なメカニズム、制約、トレードオフに落とし込み、実際のシステムで適用範囲を判断しやすくすることにあります。
物語の対応
Andy（任旭）判断
この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。