Concept Fable
先に結論：Data Parallelismは分散訓練で一般的な方法です。複数のGPUまたは複数マシン上で同じモデルを複製し、各レプリカが異なるデータbatchを処理し、その後勾配またはパラメータ更新を同期します。訓練スループットを向上でき、大規模モデルの事前訓練と微調整の基礎的な並列戦略の一つです。主な課題には、勾配同期の通信コスト、グローバルbatch size、学習率調整、ノード障害、負荷分散、およびモデル並列、パイプライン並列、FSDP/ZeROなどの戦略との組み合わせが含まれます。
Data Parallelism · Distributed training
まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。
寓話
書院は大典を書き写すことになり、一人の写字生では一年かけても終わらなかった。山長は同じ手本と墨の色を複数の学徒の組に配り、各組が異なるページを担当し、総工期を短縮することを目標とした。
各組は並行して筆を進めてよいが、各組は同じ形式に従わなければならない。ある組が急に字形を変えれば、巻を合わせるときに断層が生じる。誰かが早く提出しても、他の組が自分の頁を飛ばしてよい理由にはならない。
山長は毎日各組の校正を回収し、共通の修正規則を全デスクに送り返す。ここでの合校はページを組み合わせることではなく、各副本がそれぞれのサンプルから学んだ更新を同一のモデル状態に統合することだ。
学徒が増えるほど、互いに誤りの訂正を伝える頻度が高まる。書院はバッチごとの合同校正を始め、遅い組と欠席組を記録し、待機、通信オーバーヘッド、単一点の欠席が並列の利益を打ち消すのを避けた。
データ並列が向上させるのはスループットであり、同期、負荷、グローバルバッチ、障害の問題を自動的に解決するわけではない。規模が大きくなるほど、マージ規則と通信予算が重要になる。
概念の落としどころ
Data Parallelismは分散訓練で一般的な方法です。複数のGPUまたは複数マシン上で同じモデルを複製し、各レプリカが異なるデータbatchを処理し、その後勾配またはパラメータ更新を同期します。訓練スループットを向上でき、大規模モデルの事前訓練と微調整の基礎的な並列戦略の一つです。主な課題には、勾配同期の通信コスト、グローバルbatch size、学習率調整、ノード障害、負荷分散、およびモデル並列、パイプライン並列、FSDP/ZeROなどの戦略との組み合わせが含まれます。
重要なのは、それが単なる用語ではなく、実際のAI／Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。
物語の対応
Andy（任旭）判断
この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。