← 概念解説に戻る

Concept Fable

SwiGLU

先に結論:Swish-Gated Linear Unit(SwiGLU)は、TransformerのフィードフォワードネットワークFFNに用いられるゲート付き活性化構造で、Swish活性化とGLUゲートの考え方を組み合わせている。現代のLLMではReLU/GELU系の活性化の代わりにSwiGLUがよく使われ、モデル品質と表現力を高める。これはモデルアーキテクチャ内部の最適化であり、企業の利用者が直接設定することは通常ないが、基盤モデルの性能、パラメータ効率、推論挙動に影響する。

Swish-Gated Linear Unit · Architecture

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

粉ひき場にある、自分で門の隙間を調整する糧門

山麓の製粉所には二つの古い穀物門がある。穀粒が入ると、一方の門がどれだけ通すかを決め、もう一方の門がどの溝へ流すかを決める。昔は職人が固定の目盛りどおりに門を開け、麦が単一だったため粉も安定して挽けた。

新しい穀物品種がますます増えた。乾いたもの、湿ったもの、粒の大きいもの、砕けた殻付きのもの。固定の目盛りでは、槽口を詰まらせるか、勢いよく出しすぎて石臼を熱くするかのどちらかだった。学徒は毎日、大きくするか、小さくするか、としか聞けなかった。

弟子はまず門をさらに大きく開けた。生産量は上がったが、不良粉も増えた。次に門を小さくすると、粉は細かくなったが、速度が遅くなり列ができた。単に大きくしたり小さくしたりするだけでは、異なる穀物の性質の違いは解決できない。雨季になると、古い方法はさらに不安定になる。

老磨工は連動門を作った。一方の門が先に穀粒の状態を感じ、もう一方の門がその状態に基づいてどれだけ通すかを決める。適切な部分は増幅され、不適切な部分は押さえ込まれ、湿った穀物がもう一気に石の隙間へ流れ込むことはない。

当初は皆、それが複雑だと嫌がった。第一版の連動門にも欠点があり、殻付き雑穀に反応が遅すぎて、やはり詰まった。老磨工は門のバネと曲腕を調整し、穀粒を感じる側が過敏でも鈍感でもないようにした。

数シーズンの雨季を経て、連動ゲートは湿った穀物、乾いた穀物、混合穀物のいずれでもより安定し、石臼も過熱が減った。粉挽きはさらに、連動ゲートを最も忙しい中段に置くのが最も有用だと気づいた。入口は穀物を受け取り、出口は粉を出す。中間の区間が、穀粒がより有用な形に加工される方法を決める。

後に、新しい製粉所は同様の構造を採用した。それは製粉所に無理やり溝を一本加えるのではなく、同じ大きさの溝に選別と増幅を学ばせた。老いた製粉工は言った。良い仕掛けは時に、より多くの木材を積むのではなく、ゲート制御によるものだと。増幅すべきものは増幅し、抑えるべきものは抑える。

後に徒弟は門の隙間を見ることを学び、もはや磨盤の大きさだけを見なくなった。同じ溝でも、調節できる門があるかどうかで、出てくる粉はまったく異なる。製粉所の争いも減った。新しい穀物に遭えば、まずどの部分を拡大しどの部分を抑えるかを見て、それから機械を作り直すべきかを決める。徒弟は後に点検するときも、まず門控が穀物の性質に応じて開閉しているかを見て、それから磨盤自体を交換する必要があるかを見るようになった。

明らかにする

この物語が語るのは:SwiGLU

Swish-Gated Linear Unit(SwiGLU)は、TransformerのフィードフォワードネットワークFFNに用いられるゲート付き活性化構造で、Swish活性化とGLUゲートの考え方を組み合わせている。現代のLLMではReLU/GELU系の活性化の代わりにSwiGLUがよく使われ、モデル品質と表現力を高める。これはモデルアーキテクチャ内部の最適化であり、企業の利用者が直接設定することは通常ないが、基盤モデルの性能、パラメータ効率、推論挙動に影響する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 製粉所の中段:Transformer block における FFN
  • 固定刻度の糧門:単純な活性化関数
  • 大きくするか小さくするだけ:容量や閾値の粗い調整
  • 連動ゲート:SwiGLUのゲート構造
  • 穀粒の状態を感じ取る:Swish/activation が入力に非線形変換を行う
  • どれだけ通すかを決める:gate が情報の流れを制御する
  • 湿った餌と乾いた餌のほうが安定:より強い表現能力と訓練効果
  • 業務理解ではない:アーキテクチャ改善は製品能力そのものではない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

FFNactivation functionGELUReLU
京ICP备2026014272号