← 概念解説に戻る

Concept Fable

フィードフォワードネットワーク

先に結論:Feed-Forward Network(FFN)はTransformer層においてアテンションの後に位置する位置ごとの前向きネットワークであり、通常は二層の線形変換と非線形活性化から構成される。Attentionはトークン間で情報を交換し、FFNは各トークンの表現に対して特徴変換と拡張・圧縮を行う。企業AgentではFFNは直接見えないが、モデル内部の知識とパターン変換を担い、モデルサイズ、推論コスト、量子化圧縮戦略にも影響する。

Feed-Forward Network、FFN · Architecture

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

各マスの中の小さな工房

町の仕分け楼は毎日各地からの手紙を処理する。楼上には一列の相互参照台があり、書記たちはまず各手紙と他の手紙との関係を比較する:どれが同じ案件か、どれがどれを補足するか、どれを優先すべきか。

互看台は非常に役立ったが、手紙を実際に処理し終えることはできなかった。比較の後、各手紙には依然として自分の印を押す必要があった:急件か、受領証が必要か、銀票を含むか、官署に渡すか。新しい書記は、互いに比較し終えれば仕分けが完了すると誤解した。

最初の誤りのとき、似た二通の手紙が普通の袋口に送られ、そのうち一通には実は期限が隠されていた。主管はまず書記に互見台でもっと何ラウンドも議論させ、上の階では議論すればするほど遅くなり、一通の手紙でなすべき判断は依然として誰も完了しなかった。

老分拣師は各手紙を一排の小さな工房へ送った。各工房はその手紙がすでに持っている手がかりだけを見て、まず観察を広げ、次にいくつかの明確なマークへ圧縮した。他の手紙と会話することはないが、各手紙自身の意味をより明確にした。

小さな工房は当初軽んじられ、互いを見る台の後ろの雑用のように思われた。しかしそれがなければ、関係がどれほど明確でも一通の手紙の処理決定には落とし込めない。それがあれば、手紙は比較から得られた手がかりを自分の次の状態に変換できる。

仕分け棟は後にリズムを形成した。まず手紙と手紙の関係を見て、それから各手紙を単独で加工台に通す。主管は、集団の関係と単体の変換はどちらも欠かせないと理解した。後者は静かだが、理解を使える表現に変える中核工程である。

その後、手紙は長くなり、主管は小さな工房がもう一つの役割を担っていることに気づいた。それは、前段の関係比較で得た手がかりを、次の層が引き続き使える形に整理し直すことだった。この工程が粗雑だと、後の判断は曖昧な印を引きずったまま誤り続ける。

新しい書記はついに小さな工房を雑務扱いしなくなった。互看台は手紙に互いを知らせ、小工房は各手紙が自分を更新できるようにする。二つの工程が交代で現れることで、仕分け楼は全体の関係を見つつ、個々の手紙の操作可能な状態も保てる。後に主管が仕分け品質を検査するとき、互看台が関係を見つけたか、小工房が関係を明確な標識に変えたかの両方を見る。前者は手紙を孤立させず、後者は手紙を流れ続けさせる。この局所加工がなければ、前の関係を後の能力に変えるのは難しい。

明らかにする

この物語が語っているのは:フィードフォワードネットワーク

Feed-Forward Network(FFN)はTransformer層においてアテンションの後に位置する位置ごとの前向きネットワークであり、通常は二層の線形変換と非線形活性化から構成される。Attentionはトークン間で情報を交換し、FFNは各トークンの表現に対して特徴変換と拡張・圧縮を行う。企業AgentではFFNは直接見えないが、モデル内部の知識とパターン変換を担い、モデルサイズ、推論コスト、量子化圧縮戦略にも影響する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 灯陣:Attention メカニズム
  • 各セル:シーケンス内の token 表現
  • 小さな工房:FFN
  • より長く照らす:注意力計算を広げるだけの修繕
  • 手書きの判断:外部ルールの積み重ね
  • 先に交換してから加工:Transformer 層における Attention と FFN の連携
  • 最終的な洞察:モデルの能力は関係のモデリングと位置ごとの変換が共に作用することから生まれる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

activation functiontransformer blockSwiGLU
京ICP备2026014272号