← 概念解説に戻る

Concept Fable

自己注意

先に結論:Self-Attention は、シーケンス内の各 token が自分の表現を計算する際に、同じシーケンス内の他の token を参照し、関連性に応じて重みを割り当てる仕組みである。これは Transformer の中核能力であり、モデルがコンテキスト内部で依存関係を構築できるようにする。企業 Agent の導入においては、モデルがユーザーのリクエスト、ツールの結果、履歴上の制約、現在の目標を一つに結び付けられるかに影響し、コンテキスト長、推論コスト、説明可能性にも直接影響する。

Self-Attention · Transformers

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

同じ帳簿上での相互指認

帳場には長い帳簿があり、米、塩、布、車代、未払いを記録していた。新しい学徒は帳簿を読むとき、いつも一行ずつ下へ見ていき、「返済済み」を見ると、前の借金もすべて片付いたと思った。

老帳方は彼に一頁を読み直させた。張家は三月に米を借り、四月に銀を返し、五月にまた車を借り、六月に「車代を返済済み」と書いた。現在の一行だけを見れば、「返済済み」が何を指すのかを間違える。

徒弟の最初の修復は、隣接する三行を一緒に見ることだった。これで小さな誤解は解けるが、十数行離れた古い取り決めに遭遇すると、彼は依然として塩の帳簿と車代を混同してしまう。

二度目に、彼は各類の帳簿に色を塗った。色は助けになるが、柔軟性は十分でない。同じ色でも関係が弱い行もあれば、違う色でも同じ取引によって強く結びついている行もある。

老帳方は彼に、各行を読む時に全ページを見返し、どの語がこの行と最も関係があるかを問うことを教えました。「完済」を読む時は債権者、物品、時間、金額を見ます。「追加送付」を読む時は前の欠品記録を見ます。

学徒は行と行の間に細い線を引き始めた。一語読むごとに、彼は関連する語を光らせた。ある遠くの古い帳簿は隣の新しい帳簿よりも重要であり、ある近隣のものは単なる雑項の説明にすぎなかった。

ついに彼は、同じページの帳簿から、どれがどれを指しているのか、どの文がどの文を説明しているのかを見分けられるようになった。複雑な文章を理解するには、ただ順に読むだけでなく、各位置が必要に応じて他の位置に注目できるようにする必要がある。

後に徒弟は契約書を読み、家書を読むのにもこの方法を使った。彼はもはや遠近を唯一の手がかりとせず、各語を意味に従って同じページで見るべき語を探させた。文はそれゆえ光る関係網のようになり、現在の一箇所の意味は、しばしば別の箇所が共に決める。 老経理係は後に彼に詩を読ませたが、方法は依然として役立った。一つの「帰」の字は前の遠行を照らし、一つの「旧」の字は冒頭の家書を指し示すかもしれない。意味はしばしば相互の指し示しの中で現れ、読者は関連する箇所を互いに見えるようにしなければならない。 後に徒弟は理解した。一ページの帳簿を読むのは目を前へ滑らせることではなく、関連する箇所を互いに照らし合わせることだと。 この言葉は後に新人の手引きに書き込まれ、まず現場の代価を見てから省力化を語るよう皆に促した。 まさにこの注意があるゆえに、後に似た難題に再び遭遇したとき、人々は慌てて古い方法を当てはめようとはしなかった。 彼らはまずどの段階がリスクを負うかを問い、それから手放すべきか、締めるべきか、それともプロセスを組み替えるべきかを決めることを学んだ。 この経験は素朴に見えるが、後の選択から多くの曖昧さと僥倖を減らした。

明らかにする

この物語が伝えるのは:自己注意

Self-Attention は、シーケンス内の各 token が自分の表現を計算する際に、同じシーケンス内の他の token を参照し、関連性に応じて重みを割り当てる仕組みである。これは Transformer の中核能力であり、モデルがコンテキスト内部で依存関係を構築できるようにする。企業 Agent の導入においては、モデルがユーザーのリクエスト、ツールの結果、履歴上の制約、現在の目標を一つに結び付けられるかに影響し、コンテキスト長、推論コスト、説明可能性にも直接影響する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 雲港商会:複雑な文脈を扱う言語モデルまたは企業 Agent システム
  • 帳簿の各行:シーケンス内の token、フィールド、ツール結果、またはコンテキスト断片
  • 行ごとに登録:局所情報だけで入力を処理する旧方法
  • 赤印ルール:表層の重みで真の関係を置き換える素朴な修正
  • 各行が同じページの他の行を見る:Self-Attention における token 対 token の関連性計算
  • 新しい帳法:文脈依存を人手の補足規則ではなくモデル構造に書き込む
  • 最終洞察:企業Agentの信頼性はコンテキスト内部の関係が安定的にモデル化されることから生まれる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

attentioncontexttransformerQKVアテンションマスク
京ICP备2026014272号