寓話
経理係はもう各見習いに帳簿全体を暗記させない
ここでの鍵は、概念の制約を具体的な対象に落とし込むことであり、単に一つの結果を描写することではない。
規模と例外が増えるにつれ、その場の調整で維持していたやり方に盲点が現れ始めた。
短期的なパッチは表面的な秩序を回復させるが、概念が本当に制約する対象を解決してはいない。
老匠は代わりに条件、動作、結果、責任の連鎖を記録し、その後の調整に根拠を持たせた。
山長は帳簿をいくつかの巻に分け、各自が一巻だけを背負い、ある問題で他人の巻が必要になれば一時的に借り、計算が終われば返した。この手間はかかり、当初は工期も遅れた。しかし何度か繰り返すうちに、手戻りが減り、職人も気まぐれで規則を変えなくなった。ついに皆は見た。ZeRO は通信とスケジューリングの複雑さと引き換えに、より低いメモリ冗長性を得る。それが割に合うかどうかは、段階とハードウェアごとに実測しなければならない。
保存・借用・統合を明確に分けて初めて、チームは通信コストをより大きなモデル容量と引き換えにできる。
隊伍は遠くまで歩き、人手不足、迂回、伝票の遅延に応じて分業を調整することも学んだ。それ以来、大きな帳簿を全員の肩に完全に載せる必要はなく、保存、借用、統合を区別することで、隊伍はより大きな課題に耐えられるようになった。