← 概念解説に戻る

Concept Fable

FSDP

先に結論:Fully Sharded Data Parallelism, FSDP は分散学習戦略であり、モデルパラメータ、勾配、オプティマイザ状態を複数デバイス間にシャーディングし、各データ並列レプリカがすべての状態を完全に保持することを避けます。単一カードのメモリ負荷を大幅に下げ、より大きなモデルやより大きな batch を可能にします。代価は追加通信、実装の複雑さ、チェックポイント管理、性能チューニングです。企業が大規模モデルを学習または微調整する際、FSDP はハードウェアコストの制御と学習可能なモデル規模の拡大によく使われます。

Fully Sharded Data Parallelism · Distributed training

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

大書記の身体は多くの保管箱に分割された

京城の算院は巨大な星暦を校訂しようとしていた。当初、各学徒は全套の底本、誤り訂正簿、算盤の記録を抱えており、机の上は小山のように積み上がっていた。人数が少ないうちはまだ我慢できたが、人が増えると部屋が先に溢れ、ページをめくるのも驚くほど遅くなった。

院長はまず大きな戸棚を買い、次に学徒に数ページ省かせた。戸棚はすぐにまた満杯になり、数ページ省くと全体の進捗が遅れた。さらに厄介なのは、誰もが冊子一式を持ち、どこか一箇所を変えるたびに全員に書き写さねばならず、一筆でも写し漏れれば星暦全体が合わなくなることだった。

老会計士は分冊法を提案した。甲は春の星図だけを担当し、乙は夏だけを担当し、丙は訂正簿の一部を保存し、丁は算盤記録の一部を保管する。普段は各自が自分の分だけを覚え、あるページを合算する必要があるときだけ、関連する冊子を一時的に机に借り、使い終わったらすぐ返却する。

初めのうち徒弟たちは心配した。全書が手元になければ、どうやって全書を校訂するのか。初版の分冊も実際に混乱を起こした。誰かが夏季星図を借りて返し忘れ、別の人が机の前で待ちぼうけした。誰かが古い改錯簿を受け取り、計算した結果が他人と合わなかった。

老いた帳師は閲覧順序、返却印、臨時合冊の規則を補った。共同計算が必要なときは、関連する冊頁が一時的に同じ机に集まる。計算が終われば、すぐにそれぞれの保管箱に戻す。誰もが常に書山全体を背負う必要はないが、肝心なときに必要なページを見ることができる。

星暦はついに多くの学徒が一緒に修められるようになった。代償はスケジューリングがより緻密になり、貸出が遅れれば待ち、印が間違えば乱れることだ。算院は各人をより強くするのではなく、大書を管理可能な分に分け、必要なときに短時間だけ再結合した。

院長は後にさらに大きな星暦を引き受けるようになっても、まず部屋に全書が収まるかを問わなくなった。まずどの冊子を誰に分けるべきか、いつ集約し、いつ解放するかを問うた。大きな仕事を拡張できるのは、記憶を分担し、明確にスケジューリングしているからである。

後に徒弟たちは待機鈴も発明した。誰かが臨時に分冊を合わせたいときは、まず鈴を鳴らして予約する。使い終わって返さない者がいれば、机のそばに赤い札が灯る。分冊法が成熟するにつれ、皆はますます理解した——大書は分解された後も消えたわけではなく、より厳密な段取りによって、誰もが全書を背負って走ることを避けているだけだと。

明らかにする

この物語が語るのは:FSDP

Fully Sharded Data Parallelism, FSDP は分散学習戦略であり、モデルパラメータ、勾配、オプティマイザ状態を複数デバイス間にシャーディングし、各データ並列レプリカがすべての状態を完全に保持することを避けます。単一カードのメモリ負荷を大幅に下げ、より大きなモデルやより大きな batch を可能にします。代価は追加通信、実装の複雑さ、チェックポイント管理、性能チューニングです。企業が大規模モデルを学習または微調整する際、FSDP はハードウェアコストの制御と学習可能なモデル規模の拡大によく使われます。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 完全なモデル、勾配、オプティマイザ状態:訓練時の主なメモリ使用量
  • より大きな戸棚:単により高い VRAM の GPU を購入する
  • 分けて保管:パラメータ、勾配、オプティマイザ状態のシャーディング
  • 一時的に集めてから再分散:FSDP の all-gather と reshard の考え方
  • 同じハードウェアでより大きなモデルを訓練:メモリ効率の向上
  • 通信とスケジューリングが複雑:FSDP の性能チューニングコスト
  • チェックポイントと障害復旧:シャード訓練の運用要件

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

data parallelZeRODeepSpeeddistributed training
京ICP备2026014272号