← 返回概念解读

Concept Fable精修版

缩放定律

Scaling Laws · Training

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

面包城里炉子、面粉和学徒的比例

粮仓师傅研究磨坊产量。他发现小磨加一头驴,产量涨得明显;再加两头,仍涨;到了某个规模,若石磨太小、粮道太窄,加驴只会挤。掌柜还发现,单看一次扩仓容易误判。雨季、粮价、驴的体力都会让产量上下波动,必须看许多次记录,曲线才露出形状。

年轻掌柜以为越大越好,盲目买驴、扩仓、招人。账本却显示,有些投入带来稳定增益,有些过了界便浪费。第一次盲目扩张后,院里多了二十头驴,却只有一条窄粮道。驴排着队等粮,饲料钱先涨,面粉没涨多少。

老账房把多年记录画成曲线:多少粮、多少驴、多少石磨,对应多少面粉。曲线不是神谕,却能让人预估下一次扩张大概值不值。

一次掌柜想直接扩十倍。账房提醒,过去规律来自相近条件;若粮质、道路、磨盘材料变了,曲线也可能失准。扩张前要留试验点,不能把曲线当保证书。账房又在曲线旁写下条件:同样粮种、同样磨盘、同样工法。离开这些条件,过去的斜率只能当参考,不能当命令。

掌柜后来学会先做小台阶。加一头驴、换一段粮道、扩大一只磨盘,逐步看曲线是否还延续,再决定要不要押上十倍银子。

磨坊最后把曲线挂在账房,不挂在神龛。它帮助估算投入产出,也提醒掌柜哪里可能遇到瓶颈。懂规律,是为了更谨慎地扩,不是为了更大胆地赌。

老账房还提醒,曲线只描述过去观察到的关系,不替掌柜承担决策。若扩张会压垮现金、运输或人手,即使曲线好看,也要分步验证。规律能省掉盲猜,省不掉负责。

磨坊学到,规模和能力之间常有可观察的关系。看清关系,能少拍脑袋;忘记边界,又会把规律误用成迷信。

揭示

这个故事讲的是:缩放定律

Scaling Laws 描述模型性能与参数量、训练数据、计算量等规模因素之间的经验关系。它帮助团队预测扩大模型、数据或算力的收益和成本,避免单独堆参数、数据不足或算力浪费。企业决策中,缩放定律用于预算规划、模型选型和训练策略判断。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 炉子大小:模型参数规模
  • 面粉量:训练数据规模和质量
  • 学徒时数:训练计算量
  • 坏面包比例:损失或错误率
  • 比例表:经验缩放规律
  • 只买最大炉:只堆模型规模的低效策略

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Chinchillacompute-optimalpre-trainingKaplan