← 返回概念解读

Concept Fable精修版

参数

Parameters · Machine Learning

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

织机上千万个小旋钮

机关坊有一尊会写字的铜人,身上藏着无数小砝码。每个砝码轻重不同,牵动手腕、笔锋、停顿和选词。

学徒起初只看铜人的外壳,以为换支笔就能改变文风。师傅拆开胸腔给他看:真正决定动作的,是里面那些细小砝码的位置和重量。

训练铜人时,师傅不是逐条写命令,而是通过许多样本慢慢调砝码。一个砝码看不出意义,成千上万枚合在一起,便形成了它的习惯。

有次学徒随手改动几枚,铜人写字忽然歪了。师傅说,砝码越多,能力越大,维护也越难;不能把它们当成普通说明书。

学徒先想每天教铜人一句新口令。口令能让它临时改几个字,却改不了深处习惯:它提笔的力度、停顿的长短、偏爱的句式,仍由胸腔里那些砝码牵着。

师傅让他调一枚小砝码,铜人的笔锋立刻轻了;再调另一枚,转折又变慢。单枚看着不起眼,成千上万枚合在一起,就形成铜人的手感和判断。外壳、纸张和笔只是入口,真正储存本事的,是这些被长期校准过的细小重量。

学徒后来再看铜人写字,不再只问它学过哪句话。他会想,里面的砝码经过多少次调整,哪些重量让它偏向某种笔画,哪些组合让它在新纸上也能写出相似风格。学徒后来再看铜人写字,不再只问它学过哪句话。他会想,里面的砝码经过多少次调整,哪些重量让它偏向某种笔画,哪些组合让它在新纸上也能写出相似风格。学徒后来再看铜人写字,不再只问它学过哪句话。他会想,里面的砝码经过多少次调整,哪些重量让它偏向某种笔画,哪些组合让它在新纸上也能写出相似风格。

铜人的聪明,藏在大量可调的内部刻度里。外人看到一句话,工匠看到的是无数刻度共同给出的动作倾向。

揭示

这个故事讲的是:参数

参数是模型内部可学习的数值,例如神经网络里的权重和偏置。训练过程会不断调整这些数值,让模型从输入产生更符合目标的输出。

参数量影响模型容量和成本。更多参数通常能表达更复杂的模式,但也需要更多训练数据、算力、内存和推理成本;参数多不自动等于更适合具体业务。

隐喻映射

  • 小旋钮:模型参数或权重
  • 好布样:训练样本和目标输出
  • 织坏后微调:训练中的梯度更新
  • 旋钮配合:参数共同形成能力
  • 旋钮数量、耗线和厂房:参数量、能力、算力和部署成本

Soloharness 判断

参数量是成本和能力的线索,不是采购理由。业务要看单位成本下是否完成任务,而不是被“多少 B 参数”牵着走。

weightsbiasgradientsmodel sizecheckpoint