完整定義
L2 正則化是一種在機器學習模型訓練中常用的技巧,用於防止模型過度擬合。它透過在損失函數中加入模型權重的平方和項,懲罰較大的權重值,從而使模型更加簡單、泛化能力更強。L2 正則化又稱為 Ridge 迴歸,能有效降低模型對訓練資料的敏感度,提升在未知資料上的表現。
白話說明
模型為了追求訓練分數,權重一路變大,為什麼新資料反而更容易出錯?
你可以把它想成幫模型踩煞車,讓所有權重都收斂一點,不要太極端。
L2 正則化是一種機器學習技術,透過在損失函數中加入權重平方和的懲罰項,促使模型權重縮小,有效降低模型複雜度並避免過度擬合,提升泛化能力。
記住這句
所有權重都縮小,但不刪光。
比喻:L2 正則化就像給跑得太快的賽車(模型)踩剎車 -- 它會讓賽車在彎道時不敢衝太快(權重不要太大),避免因為過度自信(過度擬合)而衝出跑道。
容易混淆
L1 正則化
L2 是整體縮小權重,L1 是把少數不重要的權重直接歸零。
Dropout
Dropout 是訓練時隨機關掉部分神經元,L2 是在損失函數裡直接罰大權重。
實際案例
房價預測
坪數、樓層、屋齡等特徵很多時,L2 可以避免某些係數被放得太大。
神經網路訓練
參數很多時,weight decay 能讓模型不那麼依賴少數極端權重。
演算法與應用
L2 懲罰的是權重平方和,權重越大,懲罰越重。它的效果是讓模型更平滑、泛化更好,特別適合特徵很多但彼此相關的情況。和 L1 比起來,L2 比較保守,通常不會把特徵整個清掉。
iPAS 考題
出題方向: 這類概念常考定義、差異和實務用法。
題目 關於 L2 正則化,下列何者正確?
答案:B。 L2 正則化透過懲罰權重平方和,讓所有權重趨向較小值。它不是把權重壓成零,也不是只適用於神經網路。
常見問題
L2 是整體縮小權重,L1 是把少數不重要的權重直接歸零。
你可以把它想成幫模型踩煞車,讓所有權重都收斂一點,不要太極端。
Dropout 是訓練時隨機關掉部分神經元,L2 是在損失函數裡直接罰大權重。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把L2 正則化列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本