完整定義
欠擬合是一種機器學習模型訓練過程中出現的現象,指的是模型無法捕捉訓練資料中的潛在關係,導致在訓練集和測試集上的表現都較差。這通常是因為模型過於簡單,例如使用線性模型擬合非線性資料。在 iPAS 考試中,理解欠擬合的成因以及如何透過增加模型複雜度或特徵工程來解決此問題至關重要。
白話說明
你有沒有看過一個學生,題目沒有多難卻還是一直答不對?
你可以把欠擬合想成「模型太簡單,連訓練資料的規律都學不會」
它不是記太多,而是記太少,連基本模式都抓不到
所以訓練集和測試集的表現通常都不高
記住這句
訓練和實戰都差,常是模型太弱或限制太多。
比喻:欠擬合就像一個學生只學了加減法,卻要他解微積分的題目 -- 他的知識太簡單了,根本無法理解並解答複雜的問題,考試分數自然很差。
容易混淆
欠擬合 vs 過擬合
欠擬合是學不夠
過擬合是學太死
最關鍵的區別:一個太弱,一個太死記
欠擬合 vs 高偏差
欠擬合常和高偏差有關
但偏差是更抽象的統計概念
最關鍵的區別:現象和原因層次不同
欠擬合 vs 沒訓練好
沒訓練好可能是流程問題
欠擬合是模型能力不足或設定太保守
最關鍵的區別:過程失誤和模型本質
實際案例
線性模型太簡單
拿直線去擬合明顯彎曲的資料,連訓練資料都追不上,這就是欠擬合的經典畫面
特徵太少
只用一個欄位預測房價,結果連區域和坪數都沒看,模型自然抓不到重點
演算法與應用
| 模型容量 | 太小就不夠表達複雜關係 | 這是常見原因 |
| 訓練時間 | 太短也可能沒學到 | 但不是唯一原因 |
| 特徵品質 | 特徵太少或太弱會拖累表現 | 資料本身很重要 |
| 診斷方式 | 看訓練和驗證表現一起判斷 | 兩邊都差常是欠擬合 |
中英對照與跟過擬合的對照
中國大陸寫作「欠拟合」與「过拟合」,指的是同一件事。
- 中文
- 欠擬合
- 英文
- underfitting
- 說明
- 模型太簡單,連訓練資料都學不好
- 中文
- 過擬合
- 英文
- overfitting
- 說明
- 模型太複雜,把訓練資料的雜訊也背下來
- 中文
- 偏差
- 英文
- bias
- 說明
- 欠擬合對應高偏差
- 中文
- 變異數
- 英文
- variance
- 說明
- 過擬合對應高變異數
怎麼判斷是哪一種
只看一個數字判斷不出來,要同時看訓練誤差與驗證誤差。
第一列最容易被誤判。看到效果不好就加資料,是很常見的直覺反應,但欠擬合加資料完全沒用,模型本來就沒能力擬合,給它更多資料只是讓它同樣學不好而已。這一步判斷錯,可以浪費掉整個專案的時間。
- 訓練誤差
- 高
- 驗證誤差
- 高
- 診斷
- 欠擬合
- 該做什麼
- 加大模型、加特徵、訓練更久、降低正則化
- 訓練誤差
- 低
- 驗證誤差
- 高
- 診斷
- 過擬合
- 該做什麼
- 加資料、加正則化、提早停止、簡化模型
- 訓練誤差
- 低
- 驗證誤差
- 低
- 診斷
- 剛好
- 該做什麼
- 可以上線了
- 訓練誤差
- 高
- 驗證誤差
- 低
- 診斷
- 通常是資料切分有問題
- 該做什麼
- 檢查驗證集是不是太簡單或有洩漏
欠擬合的常見成因
模型能力不足。 用線性模型去配明顯非線性的關係,這是最典型的。
特徵不夠或沒表達出來。 資料裡沒有能區分結果的訊號。這時要做的是特徵工程或找新的資料來源,不是換模型。
正則化過強。 L1、L2 的係數設太大、dropout 比例太高,都會把模型壓得太簡單。
訓練不足。 epoch 太少或學習率太小,模型還沒收斂。看訓練誤差曲線還在往下掉就屬於這一類,繼續訓練即可。
學習率太大。 這個比較反直覺:學習率太大會讓損失一直震盪無法下降,看起來像欠擬合,其實是最佳化失敗。判斷方式是看損失曲線抖不抖。
診斷順序建議:先確認損失曲線正常收斂,再確認不是正則化過強,最後才考慮換更大的模型。
情境判斷
Q1(直覺題):訓練準確率 60%,驗證準確率 58%,你先懷疑什麼?
先懷疑欠擬合,因為模型連訓練資料都沒學好。
Q2(判斷題):把模型調得更複雜,一定能解決所有問題嗎?
不一定,如果資料品質差或特徵不對,調大模型也可能沒用。
iPAS 考試出題分析
欠擬合 屬於 iPAS AI 應用規劃師評鑑範圍(中頻・中級),實際考試內容以官方公告為準。
常見一起複習的方向包含:類神經網路架構、模型訓練與評估、防止過擬合的策略。
常見問題
不一定,也可能是特徵太少、訓練不足或正則化太強。
看一個更簡單的模型是否也能有合理表現,並檢查特徵是否足夠。
有時可以,但如果模型本身太弱,單加資料未必夠。
常見做法是提高模型的表達能力,例如改用更複雜的模型或加深網路,加入更有用的特徵,訓練更多輪次或調整學習率,以及降低正則化強度。Google 機器學習詞彙表也把特徵選錯、訓練輪次太少、正則化太強列為常見成因。
欠擬合時訓練誤差和驗證誤差都偏高,而且兩條曲線靠得很近,增加訓練資料後也降不太下來。過擬合則是訓練誤差很低、驗證誤差明顯較高,兩條曲線之間有一段明顯的落差。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把欠擬合列為延伸術語。
立即測驗
想測試你對 欠擬合 的掌握程度?用考古題作答
相關術語
來源
參考來源:ipd.nat.gov.tw
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本