完整定義
正則化是一種用於防止機器學習模型過度擬合的技術。它通過在模型的損失函數中添加一個懲罰項,來限制模型的複雜度,從而提高模型在未見數據上的泛化能力。常見的正則化方法包括 L1 正則化和 L2 正則化,它們分別對模型的權重進行稀疏化和縮小。
白話說明
你訓練模型時,會不會怕它把訓練資料背太熟,考新題就不會了?
你可以把正則化想成在學習時加一點約束,提醒模型不要只記答案,還要學會規律。
它的目的就是降低過擬合,讓模型在沒看過的新資料上也比較穩。
記住這句
模型太會背,就要想辦法讓它別背太熟。
比喻:正則化就像給一個想學很多東西的學生設定「學習上限」 -- 鼓勵他學習,但如果他學得太細太鑽牛角尖(過度擬合),就會給他一點「懲罰」,讓他把重點放在大方向上。
容易混淆
正則化 vs 過擬合
過擬合是問題。
正則化是解法。
最關鍵的區別:一個是症狀,一個是治療。
正則化 vs 資料擴增術
資料擴增術是把訓練資料變多、變豐富。
正則化是限制模型不要太複雜。
最關鍵的區別:一個增加資料,一個限制模型。
正則化 vs 提前終止
提前終止是訓練到一半發現驗證表現變差就停下來。
正則化是更廣義的抑制複雜度方法。
最關鍵的區別:一個是停止訓練策略,一個是模型約束手段。
實際案例
小資料分類
你只有幾千筆資料,要訓練一個分類器,若不加正則化,很容易把訓練集記死。
加上正則化後,模型通常會更穩。
影像辨識
在深度網路裡,常會搭配 L1、L2、隨機丟棄或提前終止一起使用。
這些方法都在幫模型保留泛化能力。
演算法與應用
正則化常透過損失函數加懲罰項,讓模型參數不要長得太大或太複雜。
L1 會鼓勵稀疏,L2 會讓參數更平滑,兩者一起用就是 Elastic Net 的概念。
實務上,正則化常和資料擴增、提前終止、Dropout 一起搭配。
中英對照與常見說法
要跟正規化(normalization) 分清楚,兩者中文只差一個字但完全不同。正規化是把數值縮放到某個範圍(例如標準化、批次正規化),正則化是限制模型複雜度以避免過度擬合。
- 說法
- 正則化
- 出現場合
- 台灣機器學習教材與考試用語
- 說法
- 正规化 / 正则化
- 出現場合
- 簡體用語,簡體資料多寫「正则化」
- 說法
- Regularization
- 出現場合
- 英文原名
- 說法
- 正則項、懲罰項(penalty term)
- 出現場合
- 指損失函數裡加上去的那一項
- 說法
- 規則化
- 出現場合
- 少見的中文變體
L1 與 L2 的差別
兩個一起用叫做彈性網路(Elastic Net),在特徵多又彼此相關時表現通常最好。
深度學習框架裡的 weight decay 參數,數學上就是 L2 正則化(在 Adam 這類最佳化器上兩者有細微差異,AdamW 就是為了修正這個差異而來)。
- 懲罰項
- L1(Lasso)
- 權重絕對值的和
- L2(Ridge、權重衰減)
- 權重平方的和
- 效果
- L1(Lasso)
- 會把部分權重壓到剛好 0
- L2(Ridge、權重衰減)
- 把權重整體壓小但不會歸零
- 附帶好處
- L1(Lasso)
- 自動做特徵選擇
- L2(Ridge、權重衰減)
- 對共線性特徵較穩定
- 幾何直覺
- L1(Lasso)
- 約束區域是菱形,尖角落在座標軸上所以容易碰到 0
- L2(Ridge、權重衰減)
- 約束區域是圓形,沒有尖角
深度學習裡的其他正則化手段
Dropout:訓練時隨機讓一部分神經元不參與,強迫網路不要依賴少數幾條路徑。推論時全部打開,並把輸出按比例縮放。
提早停止(early stopping):盯著驗證集的表現,一開始變差就停。實作最簡單,效果常常出乎意料地好。
資料增強(data augmentation):對訓練資料做旋轉、裁切、加噪等變換。本質上是用「模型應該對這些變換不變」這個先驗知識來限制模型。
批次正規化(batch normalization):主要目的是穩定訓練,但因為每個批次的統計量帶有雜訊,附帶了一點正則化效果。
標籤平滑(label smoothing):不要求模型輸出 100% 的信心,避免它對訓練資料過度自信。
判斷要不要加正則化只看一件事:訓練誤差遠低於驗證誤差。兩者都高是欠擬合,這時候加正則化只會更糟,該做的是換更大的模型或更好的特徵。
情境判斷
Q1(直覺題): 你發現訓練分數很高、驗證分數很低,先想到什麼?
先想到正則化或其他抑制過擬合的方法,因為模型可能學太死。
Q2(判斷題): 只要加了正則化,模型一定會更準嗎?
不一定,正則化主要是讓模型更會泛化,太強反而可能讓模型學不夠。
常見問題
L1 比較容易把一些參數壓到 0,L2 比較像把參數整體變平滑。
算,它也是用來降低過擬合的常見手段。
不一定,要看資料量、模型複雜度和任務目標。
通常用驗證資料挑選,例如在對數尺度上試 0.001、0.01、0.1、1 等多個值,用交叉驗證比較驗證誤差,選表現最好的那個。值越大懲罰越重、模型越簡單,太大會欠擬合。要注意 scikit-learn 的 LogisticRegression 用 C 表示正則化強度的倒數,C 越小懲罰越強。
正則化的目的是限制模型對輸入特徵的依賴程度,截距只負責把整體預測值上下平移,懲罰它不會讓模型變簡單,反而可能讓預測整體偏掉。所以常見做法是只對權重加懲罰,截距不加,例如 scikit-learn 的 Ridge 迴歸就是這樣處理。
出現在這些考古題
官方公告試題的逐題解析裡,有 8 題把正則化列為延伸術語,這裡列出 5 題。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本