← 概念解説に戻る

Concept Fable

アテンションマスク

先に結論:Attention Mask は、注意機構の中でどの token を他の token が参照できるかを制御するために用いられる。一般的な用途には、因果マスク、モデルが未来の token を見るのを防ぐこと、padding token を無視すること、一部のアーキテクチャで異なる領域の情報を隔離することが含まれる。企業 Agent では、mask の考え方はコンテキストの可視性、権限境界、訓練・推論の一貫性に対応する。モデルが使うべきでない情報は、プロンプトで注意するのではなく、構造的に隔離しなければならない。

Attention Mask · Architecture

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

経理係の机の上の目隠し板

大経理係には長い机があり、問題、下書き、標準答案、古い帳簿がその上に広げられていた。新しい書記は練習するとき、つい後ろの答えをちら見してしまった。

先生はまず訓示し、盗み見を禁じた。書記たちはうなずいたが、机は仕切られておらず、目を走らせれば未来の文字と隣の注釈が頭に入ってくる。練習の点数は良かったが、実際に櫃に立つと混乱した。

二度目の補修は事後の減点だった。減点は人を緊張させるが、各位置が見る資料が正式な業務時と同じであることは保証できない。盗み見る習慣は依然として机の端に潜んでいた。

後に先生は長机に移動式の遮蔽板を取り付けた。第一行を書くときは題目だけを見られる。第五行を書くときは前四行と許可された帳頁だけを見られる。ある格子を埋めるときは、その格子に属する材料だけを見られる。

遮蔽板には、さらに細かな区分がある。空白の中には単なる埋め草で、判断に使うべきでないものがある。店主の指示の中には、客からの手紙より優先されるものがある。ツールからの応答の中には、後続の手順でしか参照できず、それ以前の決定にさかのぼって影響させてはならないものがある。

経理係は愚かになったのではなく、かえって安定した。各位置が何を見られるかは、机の構造で決まり、書記の自覚ではない。先生は言った。賢い人にも境界が必要だ。視線を間違った場所に置けば、答えはゆがんで学ばれる。

後に経理係はより複雑な仕事を引き受けた。大きな帳簿を複数人で核算し、ある人は顧客の手紙だけを見られ、ある人は店主の批示だけを見られ、ある結果は前のステップが完了してからでないと開放されない。

遮蔽板は可動式の配置にされた。それは計算を担わないが、各位置がいつどの紙を見られるかを決める。先生は、多くの誤りは算術ができないことではなく、見てはいけないものを見たか、見るべきものを見なかったことだと気づいた。 後に初心者が入門するとき、老師匠はもはや抽象的な名目を先に講じず、あの失敗を振り返らせた。もともとどこが直感に頼っていたか、最初の修補がなぜ不十分だったか、新しい取り決めがどのようにリスクを検査可能な位置に留めるか。彼らがこれらの細部を説明でき、いつ沿用し、いつ昇格すべきかを指摘できるようになって、初めてこの方法を本当に理解したと言える。 後に彼らはこの方法を新人の演習にも引き渡した。まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規則でやり直し、どのステップが事前に止められ、どのステップが証拠を残したかを見る。新人が名前を暗記するだけでは、似た場面で依然として乱用する。適用境界、代償、失敗後の補救を語れる者だけが、独立して仕事を引き受けることを許された。

明らかにする

この物語が語るのは:アテンションマスク

Attention Mask は、注意機構の中でどの token を他の token が参照できるかを制御するために用いられる。一般的な用途には、因果マスク、モデルが未来の token を見るのを防ぐこと、padding token を無視すること、一部のアーキテクチャで異なる領域の情報を隔離することが含まれる。企業 Agent では、mask の考え方はコンテキストの可視性、権限境界、訓練・推論の一貫性に対応する。モデルが使うべきでない情報は、プロンプトで注意するのではなく、構造的に隔離しなければならない。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 長机:入力と生成の系列
  • 模範解答を盗み見る:訓練または生成における情報漏洩
  • 口頭での訓示:プロンプトだけで制約する素朴な修繕
  • 遮蔽板:Attention Mask
  • 前文しか見えない:causal mask
  • 空白埋めは判断に参加しない:padding mask
  • 最終的な洞察:情報の可視性は構造によって制御されるべきで、モデルの自覚だけに頼ってはならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

causal attentionpaddingattention patternsシーケンス処理
京ICP备2026014272号