← 概念解説に戻る

Concept Fable

パラメータ

先に結論:パラメータはモデル内部で学習可能な数値であり、例えばニューラルネットワークの重みやバイアスである。学習過程はこれらの数値を絶えず調整し、モデルが入力から目標により合致する出力を生み出すようにする。

パラメータ · 機械学習

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

織機上の何千万もの小さなつまみ

機関坊には字を書く銅人があり、その身には無数の小さな分銅が隠れていた。各分銅の重さは異なり、手首、筆鋒、間、語の選択を動かした。

徒弟は最初、銅人の外殻だけを見て、筆を替えれば文体が変わると考えた。師匠は胸腔を開けて見せた:動作を本当に決めるのは、中の小さな分銅の位置と重さだった。

銅人形を訓練するとき、師匠は命令を一つずつ書くのではなく、多くのサンプルを通じて徐々に分銅を調整した。一つの分銅では意味がわからないが、何千枚も合わさると、その習慣が形成される。

ある時、徒弟が気軽に数枚を変更すると、銅人の文字が突然歪んだ。師匠は言った。分銅が多いほど能力は大きいが、維持も難しくなる。普通の説明書のように扱ってはならない。

徒弟はまず、毎日銅人に新しい口令を一つ教えようと考えた。口令は一時的にいくつかの字を変えられるが、奥深くの習慣は変えられない。筆を取る力加減、間の長さ、好んで使う句式は、依然として胸腔の中の分銅に引かれている。

師匠は彼に小さな分銅を一つ調整させると、銅人の筆鋒はすぐに軽くなった。もう一つ調整すると、転折はまた遅くなった。一つでは目立たないが、何千何万も合わさると、銅人の手触りと判断が形成される。外殻、紙、筆は入口にすぎず、本当に技を蓄えているのは、長期的に校正されたこれらの細かな重りである。

学徒は後に銅人が字を書くのを見るとき、もうそれがどの言葉を学んだかだけを問わない。彼は考える。中の重りが何度調整され、どの重さがどの筆画に偏らせ、どの組み合わせが新しい紙でも似た風格を書かせるのかを。学徒は後に銅人が字を書くのを見るとき、もうそれがどの言葉を学んだかだけを問わない。彼は考える。中の重りが何度調整され、どの重さがどの筆画に偏らせ、どの組み合わせが新しい紙でも似た風格を書かせるのかを。学徒は後に銅人が字を書くのを見るとき、もうそれがどの言葉を学んだかだけを問わない。彼は考える。中の重りが何度調整され、どの重さがどの筆画に偏らせ、どの組み合わせが新しい紙でも似た風格を書かせるのかを。

銅人の賢さは、大量の調整可能な内部目盛りに隠れている。外の者が見るのは一言の言葉だが、工匠が見るのは無数の目盛りが共に与える動作傾向だ。

明らかにする

この物語が語るのは:パラメータ

パラメータはモデル内部で学習可能な数値であり、例えばニューラルネットワークの重みやバイアスである。学習過程はこれらの数値を絶えず調整し、モデルが入力から目標により合致する出力を生み出すようにする。

パラメータ数はモデルの容量とコストに影響する。より多くのパラメータは通常より複雑なパターンを表現できるが、より多くの訓練データ、計算資源、メモリ、推論コストも必要とする;パラメータが多いからといって自動的に特定の業務により適しているわけではない。

メタファーのマッピング

  • 小さなつまみ:モデルパラメータまたは重み
  • 良い布見本:訓練サンプルと目標出力
  • 織り損じ後の微調整:訓練中の勾配更新
  • ノブの連携:パラメータが共同で能力を形成
  • ノブの数、消費線、工場:パラメータ数、能力、計算資源、展開コスト

Andy(任旭)判断

パラメータ数はコストと能力の手がかりであり、調達の理由ではない。業務は単位コストでタスクを完了できるかを見るべきで、「何Bパラメータ」に引きずられるべきではない。

weightsbiasgradientsモデルサイズチェックポイント
京ICP备2026014272号