AITerms 登入
iPAS 中級 模型訓練模型評估機器學習

過擬合(Overfitting)是什麼?

過擬合指模型過度記憶訓練資料的細節與雜訊,導致在未見過的新資料上預測表現大幅下滑

完整定義

過擬合是一種機器學習模型訓練過程中出現的現象,指的是模型過度學習訓練資料中的雜訊或異常值,導致在訓練集上表現極佳,但在未見過的測試集上表現較差。這通常是因為模型過於複雜,例如使用高次多項式擬合簡單資料。在 iPAS 考試中,理解過擬合的成因以及如何透過正則化、交叉驗證或增加訓練資料來解決此問題至關重要。

白話說明

你有沒有遇過考卷一模一樣會寫,題目一變就卡住的情況?

你可以把 過擬合 想成 訓練集背太熟,遇到新題就失準。

模型要能面對沒看過的新資料,訓練資料背太熟,遇到新資料就失準 這件事就特別重要。

記住這句

訓練資料背太熟,遇到新資料就失準

比喻:過擬合就像一個學生只會死背課本上的例題答案 -- 考試遇到一模一樣的題目就滿分,但只要題目稍微變形,他就完全答不出來,因為他沒真正理解背後的原理。

容易混淆

過擬合 vs 欠擬合

過擬合是學太專精,只會訓練集;欠擬合是學太少,連訓練集都學不好,兩者都導致模型泛化能力差,無法處理新資料。

最關鍵的區別:一個是記太熟,一個是學太少。

過擬合 vs 欠擬合

過擬合是學太細,欠擬合是學太少,兩邊都會讓泛化變差

最關鍵的區別:一個記太多,一個學太少。

實際案例

案例 1:模型在訓練集接近滿分,到了測試集卻掉到很低

案例 2:小資料配大模型,最後只學到雜訊沒有學到規律

演算法與應用

核心意思就是:訓練資料背太熟,遇到新資料就失準。

常見解法包含正則化、Dropout、早停、交叉驗證和增加資料

看訓練分數和驗證分數的落差,最容易先抓到問題

中英對照與常見說法

相反的問題是欠擬合(underfitting,欠拟合):模型太簡單,連訓練資料都學不好。

說法
過度擬合、過擬合
出現場合
台灣兩種說法都常見
說法
过拟合、过度拟合
出現場合
簡體寫法
說法
Overfitting
出現場合
英文原名
說法
過度配適、過學習
出現場合
統計學文獻裡的譯法

怎麼判斷

判斷過度擬合只看一件事:訓練誤差與驗證誤差的落差。單看訓練誤差很低沒有意義,單看驗證誤差不夠好也不代表是過度擬合,可能只是模型不夠力。

訓練誤差
高
驗證誤差
高
診斷
欠擬合
該做什麼
加大模型、加特徵、訓練久一點、減少正則化
訓練誤差
低
驗證誤差
高
診斷
過度擬合
該做什麼
加正則化、加資料、簡化模型、提早停止
訓練誤差
低
驗證誤差
低
診斷
良好
該做什麼
檢查有沒有資料洩漏,好得不合理就是有問題
訓練誤差
高
驗證誤差
低
診斷
通常是切分或評估寫錯了
該做什麼
先檢查程式碼,不要急著解釋

解法,依效果排序

增加資料是最有效的手段,沒有之一。拿不到新資料時用資料增強:影像可以旋轉、裁切、調色,文字可以同義替換、回譯。

提早停止最簡單。盯著驗證誤差,一開始上升就停,並保留當時的權重。實作成本幾乎為零,效果常常出乎意料地好。

正則化:L2(權重衰減)把權重壓小、L1 把部分權重壓到 0、Dropout 隨機關掉神經元逼模型不依賴少數路徑。

簡化模型:減少層數、減少特徵、限制決策樹深度。

交叉驗證不會減少過度擬合,但能讓你更準確地發現它,資料量小的時候特別重要。

兩個常被忽略的來源

對驗證集過度擬合。 反覆用同一個驗證集調超參數,選出來的模型已經隱含地朝它最佳化了。所以最終評估一定要留一個從頭到尾只用一次的測試集。

資料洩漏造成的假象。 特徵裡混進了預測當下拿不到的資訊,訓練與驗證誤差都很低,上線後直接崩潰。最常見的形式是用整個資料集算標準化參數再切分,以及同一個實體的資料同時出現在訓練與驗證兩邊。訓練與驗證誤差都低得不合理時,先懷疑洩漏,不要先高興。

情境判斷

Q2(判斷題): 訓練分數很好、測試分數很差,一定是過擬合嗎?

多半是,但也要看資料切分、標註品質和任務難度,有時是資料分布不同

iPAS 考題

出題方向: 過擬合 常考概念、應用場景和與相近術語的差別。

Q:如果題目問你「哪個敘述最符合 過擬合?」要先看什麼?

先看它是在解決「訓練資料背太熟,遇到新資料就失準」這件事,還是只是描述相似的工具或流程。

常見問題

範例考題

某團隊訓練影像分類模型,發現模型在訓練資料上的準確率達 98%,但在測試資料上僅有 72%。若團隊希望提升模型對新資料的適應能力,並增加訓練資料的多樣性,下列何者最適合?

  1. A增加模型的深度與參數量,使模型學習更多細節
  2. B對訓練影像進行旋轉、翻轉等隨機變化
  3. C提高訓練速度,使模型更快完成學習
  4. D僅保留模型表現較好的訓練資料
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,有 25 題把過擬合列為延伸術語,這裡列出 5 題。

立即測驗

想測試你對 過擬合 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:ipd.nat.gov.tw

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本