← 概念解説に戻る

Concept Fable

スライディングウィンドウアテンション

先に結論:Sliding Window Attention は各トークンがその近傍の固定ウィンドウ内のトークンのみに注目するように制限し、長い系列のアテンションコストを全体的な二次増加から抑える。長文、音声、ログなど局所依存が強い場面に適し、グローバルアテンションやスパースアテンションと組み合わせることも多い。企業Agentでは、長いコンテキストが常に全量を相互参照する必要はなく、局所ウィンドウが推論コストとスループットを大幅に改善できるが、遠距離依存は追加の仕組みで補う必要がある。

Sliding Window Attention · Architecture

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

夜回りは自分の周りの7つの街だけを見る

大城の巡夜司は以前、各巡夜人に常に城全体の動静を把握するよう求めていた。城が小さいうちは可能だったが、城が大きくなると、誰もが遠くの知らせに引きずられ、近くの火災に誰も真っ先に対応しなくなった。

司長はまず伝令兵を増やし、全城の消息をより速く各人の手に届けた。消息は増えたが、判断はより遅くなり、夜回りは毎日通報を読んでいた。二度目の修補は総摘要のみを残すことだった。摘要は負担を減らせるが、しばしば近くで起きたばかりの小さな変化を漏らし、それらの変化こそが次の行動に最も影響しうる。

ある夜、西城から三里離れた倉庫で火事が起きた。近くの夜回りはまだ東門の商隊紛争の長い報告を読んでおり、煙の匂いに気づいたときには、火はすでに二棟を焼き抜けていた。後に司長は巡回規則を変えた。各夜回りは主に自分の周りの七つの通りを見て、隊列が進むにつれて窓も前へ滑っていく。

これは常に遠くを見ないという意味ではない。重要な遠隔メッセージは専用の鐘、要約、または高塔の旗印で伝えられてよいが、日常の注意力はまず局所的なコンテキストに与えられる。

新しいルールにより、長城の巡回コストは管理可能になりました。各人が処理する情報量は安定し、都市が長くなっても無限に膨張することはなく、近くの変化も遠方の知らせに埋もれることはなくなりました。

司長は一時、夜回りにすべての通報を暗記するよう求めた。しかし北城の酒場の口論が南門に届くころには、南門では油鍋の火が上がっていた。西郊の犬の遠吠えは冊子に書き込まれたが、東坊の本当の煙の匂いは誰も嗅がなかった。全城の情報が完全になるほど、足元は鈍くなった。

老夜回りはやり方を変えた。各自は目の前と後ろの三本の通りを重点的に見守り、境界では短い笛で互いに伝え、大火、洪水、盗賊の入城といったことだけを町中に伝えた。夜回りはもはやすべての場所を同時に見ているふりをせず、限られた視線を滑らせて前に進め、近くははっきりと、遠くは必要な注意だけを残した。後に役所には依然として町全体の大帳簿が保存されたが、それは事後の振り返りに使うもので、もはや各夜回りの肩にのしかかることはなかった。夜の消火は近くの判断に頼り、長時間の追跡はウィンドウを一路滑らせて行い、二つの見方にはそれぞれの位置がある。

司長は最後に言った。長い道とは、すべての一歩で町全体を見ることではない。まず身近なところを安定して見守り、次に少数の遠くへ渡る橋を設計することこそ、拡張可能な秩序である。

明らかにする

この物語が語っているのは:スライディングウィンドウ注意

Sliding Window Attention は各トークンがその近傍の固定ウィンドウ内のトークンのみに注目するように制限し、長い系列のアテンションコストを全体的な二次増加から抑える。長文、音声、ログなど局所依存が強い場面に適し、グローバルアテンションやスパースアテンションと組み合わせることも多い。企業Agentでは、長いコンテキストが常に全量を相互参照する必要はなく、局所ウィンドウが推論コストとスループットを大幅に改善できるが、遠距離依存は追加の仕組みで補う必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 夜回り:シーケンス内の token または局所処理単位
  • 街全体の動き:グローバルアテンション
  • 伝令兵を増やす:すべての情報を伝えるために資源を積み増す補修
  • 総摘要:圧縮するが細部を失う可能性のあるパッチ
  • 周囲七本の通り:スライディングウィンドウ
  • 窓は列の進行に従って進む:Sliding Window Attention
  • 最後の洞察:長いコンテキストでは局所依存と遠隔依存を区別すべきで、デフォルトで全体が互いを見るとは限らない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

long context効率的アテンションMistral
京ICP备2026014272号