AITerms 登入
機器學習最佳化特徵工程

L1 正則化(L1 Regularization (Lasso))是什麼?

L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果

同主題的術語機器學習最佳化

完整定義

L1 正則化 (Lasso) 是一種用於線性模型的正規化技術,用於防止過擬合。它通過在損失函數中添加模型權重絕對值的總和來實現,這會懲罰模型使用過大的權重。L1 正則化的一個重要特性是它可以將某些權重縮減為零,從而實現特徵選擇,簡化模型並提高泛化能力。因此,Lasso 常用於高維數據的建模。

白話說明

你有沒有想過,模型如果塞進太多特徵,會不會像報告寫太多廢話一樣失焦?

你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。

L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果

記住這句

想刪特徵,先想到 L1。

比喻:L1 正則化就像一個嚴格的老師 -- 它會要求學生(模型)在寫報告時,盡量只使用最關鍵的詞彙(特徵),把不重要的詞彙的「權重」都變成零,讓報告更精簡有力。

容易混淆

L2 正則化

L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。

特徵選擇

特徵選擇是目的,L1 是常用手段之一,不是唯一做法。

實際案例

基因資料分析

幾千上萬個基因裡,真正和疾病有關的可能只有少數,L1 能幫忙篩選。

垃圾郵件過濾

大量詞彙裡只有少數訊號詞有用,L1 會把大多數不重要的權重壓掉。

演算法與應用

L1 的懲罰是權重絕對值總和,懲罰加重時,很多權重會被推到 0。這種稀疏性讓模型更容易解釋,也能減少過擬合,但遇到高度相關特徵時,結果可能不穩。

iPAS 考題

出題方向: 這類概念常考定義、差異和實務用法。

題目 哪一種正則化具有自動特徵選擇能力?

答案:C。 L1 正則化可以把不重要特徵的權重壓到 0,等於自動做特徵選擇。L2 只會縮小權重,不會歸零。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 4 題把L1 正則化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本