← 概念辨析に戻る

Concept Contrast Fable

量子化と学習後量子化

先に結論:量子化とは、モデルパラメータを高精度から低精度に変換して計算量とストレージを削減する汎用技術です。訓練後量子化は、モデルの訓練完了後に量子化変換を行うものであり、量子化のタイミング選択の一つにすぎず、量子化のすべてではありません。量子化は訓練中(QAT)にも行え、訓練前に重みを制約することもできます。「量子化」を見てデフォルトで PTQ と考えると、他の選択肢を漏らし、レイテンシと精度の間で最適なトレードオフができなくなります。

量子化とは、モデルパラメータを高精度から低精度に変換して計算量とストレージを削減する汎用技術です。訓練後量子化は、モデルの訓練完了後に量子化変換を行うものであり、量子化のタイミング選択の一つにすぎず、量子化のすべてではありません。量子化は訓練中(QAT)にも行え、訓練前に重みを制約することもできます。「量子化」を見てデフォルトで PTQ と考えると、他の選択肢を漏らし、レイテンシと精度の間で最適なトレードオフができなくなります。

寓話

圧図師と写真家

印刷所の斉親方には絶技があった。画集の画像を二百メガから二十メガに圧縮しても、印刷効果は肉眼では違いがわからない。新しく来た組版員の小丁はこの工程を学んだ後、圧縮が必要なすべての画像を組版終了後にまとめて斉親方に処理してもらい、これが唯一正しいやり方だと考えた。

あるとき印刷工場が写真年鑑を引き受けた。三百ページ全カラーで、各写真は40メガのRAW形式だった。小丁は古い流れで組版を終え、斉師匠に画像圧縮を送った。斉師匠は二日間圧縮したが、出てきたファイルはまだ大きすぎて、印刷機が動かなかった。小丁がもっと強く圧縮できないかと尋ね、斉師匠は試したが、深刻な色ずれが起き、写真家が承知しなかった。

印刷工場の技術責任者である老谷は流れを見て、問題は斉師匠の圧縮技術ではなく「いつ圧縮するか」にあると気づいた。RAWファイルには大量の生データがある——暗い場面を撮影すれば、RAWには完全なセンサー読み取り値が保存され、暗部のディテールが豊富だ。組版時にそれを考慮せず、RAWを直接組版に使い、最後に圧縮するのは、満載のトラックで路地に入ってから荷降ろしするようなもので、入れず降ろしきれない。

老谷はフローを変えた。写真が組版システムに入る前に前処理を通す:解像度を印刷に必要な精度まで下げ、塗り足し線の外側を切り落とし、色空間を十六チャンネルから四チャンネルに変換する。前処理が終わると、ファイルは四十メガから八メガになっていた。斉親方がさらに一ラウンド圧縮し、二メガまで下げたが、印刷効果は下がるどころか上がった——前処理で除去されたのは印刷段階で使わない情報ばかりだったからだ。

小丁はそこでようやく理解した。圧縮は異なる段階で行うことができ、各段階でトレードオフが異なる。組版後の一括圧縮は「事後処理」のようなもので、利点は簡単なこと、欠点は前のすべての工程が不要な精度を抱えて走ること。前処理段階での圧縮は「事前スリム化」のようなもので、利点は後続の工程がすべて軽くなること、欠点はどの情報が後で本当に使われないかを知っておく必要があること。

老谷は後に第三の方案も導入した:再印刷率の高い一部の図冊について、撮影段階で直接より低いビット深度で出力し、源からデータ量を制御する。小丁はついに全体像を見た——圧縮は一本の流水線の異なる位置で発生し、介入点が異なれば結果も異なる。

小丁はノートに一枚の図を描いた。横軸は流水線の異なる段階、縦軸は圧縮の強度だ。彼は新しく来た同僚に言った。君は以前、圧縮は組版が終わった後にだけ起きると考えていたが、実は撮影時にも、システムに入る前にも、組版の前にも後にもできる。各介入点の代価と利益は異なり、具体的なプロジェクトを見て選ぶ必要がある。

老谷は最後に付け加えた。圧図師の腕に問題はない。問題は腕を一つの時点に縛り付けたことだ。トラックが路地で詰まってから荷を下ろさせれば、神様でもきれいに下ろせない。タイミングを変えて前もって処理させれば、同じ腕でも結果は天と地ほど違う。

量子化

モデルパラメータと計算を高精度データ形式から低精度形式へ変換する汎用技術。目標は、許容できる精度損失の下で計算量と保存需要を下げることである。これは一類の方法の総称であり、多様な介入時機と実装戦略を含む。

訓練後量子化

モデル訓練完了後に、訓練済みの重みを量子化変換する具体的な方法。実装が簡単で再訓練不要だが、精度損失が大きくなる可能性がある。一部のモデルアーキテクチャと極端でない精度要件の場面にのみ適用される。

物語の対応

  • 小丁はすべての圧縮がレイアウト後に行われると默认し、PTQ を量子化の唯一の方式と見なした。
  • RAWファイルを直接レイアウトすると全工程が重くなる:PTQの限界——前のすべての工程を全精度で実行する。
  • 前処理段階で先に精度を下げてから排版する:量子化認識訓練またはその他の事前量子化戦略。
  • 撮影段階で低いビット深度で出力する:訓練前の量子化制約により、源流から制御する。
  • 横軸上の複数の介入点:定量化は一つの時点ではなく、一連の選択可能な戦略チェーンである。

プロジェクトに落とし込む

量子化を決めるときは、まず介入のタイミングを問う。PTQ は最も手早く始められる選択肢だが、訓練リソースを投入する用意があるなら、QAT は通常より多くの精度を保てる。モデルアーキテクチャ自体が低精度訓練をサポートしているなら、訓練段階で直接制約することもできる。方案評価の段階で「量子化」を「PTQ」と同一視してはならない——そうすれば、より多くのエンジニアリング投入を要するがリターンが大きい選択肢を逃すことになる。

京ICP备2026014272号