← 概念解説に戻る

Concept Fable

過学習

先に結論:モデルは訓練データではよく機能するが、ノイズ、偶然のパターン、細かすぎる詳細を学習してしまい、新しいデータで性能が悪化する。

Overfitting · Machine Learning

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

試験場の道しか走れない御者

御者の阿路は、町の道案内試験を受けることになった。師匠は彼に十本の練習ルートを与え、彼は毎日繰り返し走り、すべての木、すべての石、すべての餅売り屋台の位置を覚えた。

試験の前、阿路は練習路線上を速く安定して走った。師匠は彼が学んでいるのは道を覚えることではなく道を見分けることだと注意した。阿路は自信満々だった。十本の路線で彼は一度も間違えたことがない。

正式に客を迎える日、客は隣の一本の路地に変わっただけだった。阿路はすぐに慌てた。練習では黄色い犬に頼って左に曲がったが、今日は黄色い犬がいない。練習では赤い提灯を見たら止まったが、この通りはどの家にも赤い提灯がある。彼は客が練習の道を歩まなかったと責め、試験に見たことのない路地を出すべきではないと思った。師匠は彼に急ぎの手紙を一人で届けさせ、その時彼は、城は練習帳どおりに門を開かないと気づいた。

師匠が最初に施した補修は、彼にさらに二十本の固定ルートを与えることだった。阿路はより苦しく暗記し、それらの道ではより完璧になった;しかし新しい橋が封鎖されると、彼はやはり標識や川の流れの方向を見ることを知らなかった。その二十本の新しい道は阿路をより暗唱者に近づけた。彼はすべての曲がり角を口诀に編み、暗記するほど細かくなり、工事の迂回に遭うと逆に慌てた。

師匠はそこでやり方を改めた。練習では天気を変え、路地の入口を変え、目的地を変え、さらにわざと見慣れた目印を外した。毎回走り終えると、どの犬を覚えたかではなく、どうやって方位、主路、終点を判断するかを尋ねた。

阿路は最初、成績が下がった。丸暗記に頼れなくなったからだ。数週間後、彼は古い道で細部の誤差ゼロを追わなくなり、それでも見知らぬ客を目的地まで送れるようになった。師匠はさらに、別の客に別の目的地を言わせた。店名を言う者、街角を言う者、入口に槐の木があるとしか覚えていない者もいる。阿路はまず目標を確認し、それからルートを選ばなければならない。

後に阿路も標識をまったく無視したわけではない。師匠は標識を補助として扱わせ、規則そのものとはさせなかった。黄色い犬や赤い提灯は思い出させることはできるが、進路を本当に決めるのは街路名、方位、目的地であるべきだ。

師匠は言った、真の良い御者は古い問題で完璧を求めるのではなく、見たことのない新しい道でも乱れないことを求める。偶然の印を規則とみなすと、熟練するほど外出が危険になる。

明らかにする

この物語が語るのは:過学習

モデルは訓練データではよく機能するが、ノイズ、偶然のパターン、細かすぎる詳細を学習してしまい、新しいデータで性能が悪化する。

過学習はデータが少なすぎる、モデルが複雑すぎる、訓練が長すぎる、特徴量リーク、評価方法が不適切な場合によく見られる。解決策には検証セット、テストセット、正則化、データ拡張、早期停止、より現実に即した評価が含まれる。

メタファーのマッピング

  • 10の練習ルート:訓練セット
  • 黄色い犬と水たまり:訓練データの中の偶発的なノイズ
  • 練習路線上は完璧:訓練誤差が低い
  • 見知らぬ路地での失敗:テストまたは実データでの性能が低い
  • 天気とルートを変えて訓練:汎化能力を高める方法

Andy(任旭)判断

AIプロジェクトで最も危険なデモは、しばしば見慣れた課題で美しく決まるものだ。本当に売れるのは、顧客、データ、場面を変えてもなお安定することである。

generalizationregularizationvalidation lossデータ漏洩
京ICP备2026014272号