完整定義
過擬合是一種機器學習模型訓練過程中出現的現象,指的是模型過度學習訓練資料中的雜訊或異常值,導致在訓練集上表現極佳,但在未見過的測試集上表現較差。這通常是因為模型過於複雜,例如使用高次多項式擬合簡單資料。在 iPAS 考試中,理解過擬合的成因以及如何透過正則化、交叉驗證或增加訓練資料來解決此問題至關重要。
白話說明
你有沒有遇過考卷一模一樣會寫,題目一變就卡住的情況?
你可以把 過擬合 想成 訓練集背太熟,遇到新題就失準。
模型要能面對沒看過的新資料,訓練資料背太熟,遇到新資料就失準 這件事就特別重要。
記住這句
訓練資料背太熟,遇到新資料就失準
比喻:過擬合就像一個學生只會死背課本上的例題答案 -- 考試遇到一模一樣的題目就滿分,但只要題目稍微變形,他就完全答不出來,因為他沒真正理解背後的原理。
容易混淆
過擬合 vs 欠擬合
過擬合是學太專精,只會訓練集;欠擬合是學太少,連訓練集都學不好,兩者都導致模型泛化能力差,無法處理新資料。
最關鍵的區別:一個是記太熟,一個是學太少。
過擬合 vs 欠擬合
過擬合是學太細,欠擬合是學太少,兩邊都會讓泛化變差
最關鍵的區別:一個記太多,一個學太少。
實際案例
案例 1:模型在訓練集接近滿分,到了測試集卻掉到很低
案例 2:小資料配大模型,最後只學到雜訊沒有學到規律
演算法與應用
核心意思就是:訓練資料背太熟,遇到新資料就失準。
常見解法包含正則化、Dropout、早停、交叉驗證和增加資料
看訓練分數和驗證分數的落差,最容易先抓到問題
中英對照與常見說法
相反的問題是欠擬合(underfitting,欠拟合):模型太簡單,連訓練資料都學不好。
- 說法
- 過度擬合、過擬合
- 出現場合
- 台灣兩種說法都常見
- 說法
- 过拟合、过度拟合
- 出現場合
- 簡體寫法
- 說法
- Overfitting
- 出現場合
- 英文原名
- 說法
- 過度配適、過學習
- 出現場合
- 統計學文獻裡的譯法
怎麼判斷
判斷過度擬合只看一件事:訓練誤差與驗證誤差的落差。單看訓練誤差很低沒有意義,單看驗證誤差不夠好也不代表是過度擬合,可能只是模型不夠力。
- 訓練誤差
- 高
- 驗證誤差
- 高
- 診斷
- 欠擬合
- 該做什麼
- 加大模型、加特徵、訓練久一點、減少正則化
- 訓練誤差
- 低
- 驗證誤差
- 高
- 診斷
- 過度擬合
- 該做什麼
- 加正則化、加資料、簡化模型、提早停止
- 訓練誤差
- 低
- 驗證誤差
- 低
- 診斷
- 良好
- 該做什麼
- 檢查有沒有資料洩漏,好得不合理就是有問題
- 訓練誤差
- 高
- 驗證誤差
- 低
- 診斷
- 通常是切分或評估寫錯了
- 該做什麼
- 先檢查程式碼,不要急著解釋
解法,依效果排序
增加資料是最有效的手段,沒有之一。拿不到新資料時用資料增強:影像可以旋轉、裁切、調色,文字可以同義替換、回譯。
提早停止最簡單。盯著驗證誤差,一開始上升就停,並保留當時的權重。實作成本幾乎為零,效果常常出乎意料地好。
正則化:L2(權重衰減)把權重壓小、L1 把部分權重壓到 0、Dropout 隨機關掉神經元逼模型不依賴少數路徑。
簡化模型:減少層數、減少特徵、限制決策樹深度。
交叉驗證不會減少過度擬合,但能讓你更準確地發現它,資料量小的時候特別重要。
兩個常被忽略的來源
對驗證集過度擬合。 反覆用同一個驗證集調超參數,選出來的模型已經隱含地朝它最佳化了。所以最終評估一定要留一個從頭到尾只用一次的測試集。
資料洩漏造成的假象。 特徵裡混進了預測當下拿不到的資訊,訓練與驗證誤差都很低,上線後直接崩潰。最常見的形式是用整個資料集算標準化參數再切分,以及同一個實體的資料同時出現在訓練與驗證兩邊。訓練與驗證誤差都低得不合理時,先懷疑洩漏,不要先高興。
情境判斷
Q2(判斷題): 訓練分數很好、測試分數很差,一定是過擬合嗎?
多半是,但也要看資料切分、標註品質和任務難度,有時是資料分布不同
iPAS 考題
出題方向: 過擬合 常考概念、應用場景和與相近術語的差別。
Q:如果題目問你「哪個敘述最符合 過擬合?」要先看什麼?
先看它是在解決「訓練資料背太熟,遇到新資料就失準」這件事,還是只是描述相似的工具或流程。
常見問題
過擬合是指模型在訓練資料上表現很好,但在測試資料上表現很差;欠擬合是指模型在訓練資料和測試資料上都表現很差。 過擬合通常是因為模型過於複雜,學習了訓練資料中的雜訊;欠擬合通常是因為模型過於簡單,無法捕捉資料中的重要特徵。
一般來說,我們應該避免過擬合。 但在某些特殊情況下,例如在資料量非常有限的情況下,或者在競賽中只關心特定測試集的表現時,可以適當允許模型過擬合。 但是,需要謹慎評估這種做法的風險,並採取相應的措施來控制過擬合的程度。
初學者最常見的誤解是認為訓練集準確率越高越好。 他們往往會過度追求在訓練集上的完美表現,而忽略了模型的泛化能力。 實際上,一個好的模型應該在訓練集和測試集上都表現良好,而不是只在訓練集上表現出色。
最直接的方法是比較訓練誤差和驗證誤差。訓練誤差很低、驗證誤差明顯較高,而且兩者差距隨訓練輪次擴大,通常就是過擬合。畫出學習曲線或做交叉驗證,可以更穩定地看出這個落差。
常見做法有增加或擴增訓練資料、加入 L1 或 L2 正則化、使用 Dropout、提早停止,以及降低模型複雜度,例如減少特徵或限制決策樹深度。哪一種有效要看成因,建議一次調整一項,再用驗證集確認效果。
正則化在損失函數加上懲罰項,限制權重不要變得太大,模型就比較難記住訓練資料裡的雜訊,只能學比較平滑、簡單的規律。L2 會把權重整體壓小,L1 會讓部分權重變成 0。懲罰太強反而會變成欠擬合。
範例考題
某團隊訓練影像分類模型,發現模型在訓練資料上的準確率達 98%,但在測試資料上僅有 72%。若團隊希望提升模型對新資料的適應能力,並增加訓練資料的多樣性,下列何者最適合?
- A增加模型的深度與參數量,使模型學習更多細節
- B對訓練影像進行旋轉、翻轉等隨機變化
- C提高訓練速度,使模型更快完成學習
- D僅保留模型表現較好的訓練資料
正解是 B:對訓練影像進行旋轉、翻轉等隨機變化
解析:訓練準確率高但測試準確率低是典型的過擬合(Overfitting)現象。資料增強(Data Augmentation)透過對訓練影像進行旋轉、翻轉等隨機變化,可以增加訓練資料的多樣性,有效降低過擬合。
出現在這些考古題
官方公告試題的逐題解析裡,有 25 題把過擬合列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 過擬合 的掌握程度?用考古題作答
相關術語
來源
參考來源:ipd.nat.gov.tw
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本