Concept Fable
先に結論：パイプライン並列処理は、モデルの層をデバイス間に分割し、マイクロバッチをパイプラインのように各段へ送ります。大規模モデルを複数のGPUで実行しやすくし、利用率を高められますが、パイプラインバブルと通信遅延を減らすスケジューリングが必要です。
Pipeline Parallelism · Distributed inference
まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。
寓話
陶磁器工房は大きな瓶を一括で急ぎ製作しようとしていた。工程は泥を揉み、坯を引き、乾かし、釉をかけ、窯に入れるまで一つも欠かせない。注文が増えると、職人たちはそれぞれ最初から最後まで行い、半製品が工房に溢れ、窯口はしばしば泥坯を待っていた。
坊主がひたすら速さを促すと、前後工程のばらつきが増すばかりだった。老窯工は長い作業を固定の持ち場に分けた。前段は連続して生地を出し、中段はリズムに合わせて乾燥させ、後段が引き継いで釉薬をかけ窯に入れる。各ロットの瓶は番号を付けて順に前へ送られる。
操業開始当初、最終段にはまだ空き待ちがあった。最初のバッチがまだライン全体を通過していないからだ。そのうちの一段が遅すぎると、後ろの人も暇になる。窯職人は毎回送られる数量と各段の人手を調整し、異なるバッチが同時に異なる段階で止まるようにした。
各瓶は依然として全工程を経なければならないが、工房の総生産量は上がった。長いタスクを連続する段階に分け、小ロットの作業を交互に進めることで、待ち時間を減らせる。
概念の落としどころ
パイプライン並列処理は、モデルの層をデバイス間に分割し、マイクロバッチをパイプラインのように各段へ送ります。大規模モデルを複数のGPUで実行しやすくし、利用率を高められますが、パイプラインバブルと通信遅延を減らすスケジューリングが必要です。
その価値は、抽象的な用語を観察可能なメカニズム、制約、トレードオフに落とし込み、実際のシステムで適用範囲を判断しやすくすることにあります。
物語の対応
Andy（任旭）判断
この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。