完整定義
L1 正則化 (Lasso) 是一種用於線性模型的正規化技術,用於防止過擬合。它通過在損失函數中添加模型權重絕對值的總和來實現,這會懲罰模型使用過大的權重。L1 正則化的一個重要特性是它可以將某些權重縮減為零,從而實現特徵選擇,簡化模型並提高泛化能力。因此,Lasso 常用於高維數據的建模。
白話說明
你有沒有想過,模型如果塞進太多特徵,會不會像報告寫太多廢話一樣失焦?
你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。
L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果
記住這句
想刪特徵,先想到 L1。
比喻:L1 正則化就像一個嚴格的老師 -- 它會要求學生(模型)在寫報告時,盡量只使用最關鍵的詞彙(特徵),把不重要的詞彙的「權重」都變成零,讓報告更精簡有力。
容易混淆
L2 正則化
L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。
特徵選擇
特徵選擇是目的,L1 是常用手段之一,不是唯一做法。
實際案例
基因資料分析
幾千上萬個基因裡,真正和疾病有關的可能只有少數,L1 能幫忙篩選。
垃圾郵件過濾
大量詞彙裡只有少數訊號詞有用,L1 會把大多數不重要的權重壓掉。
演算法與應用
L1 的懲罰是權重絕對值總和,懲罰加重時,很多權重會被推到 0。這種稀疏性讓模型更容易解釋,也能減少過擬合,但遇到高度相關特徵時,結果可能不穩。
iPAS 考題
出題方向: 這類概念常考定義、差異和實務用法。
題目 哪一種正則化具有自動特徵選擇能力?
答案:C。 L1 正則化可以把不重要特徵的權重壓到 0,等於自動做特徵選擇。L2 只會縮小權重,不會歸零。
常見問題
L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。
你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。
特徵選擇是目的,L1 是常用手段之一,不是唯一做法。
出現在這些考古題
官方公告試題的逐題解析裡,這 4 題把L1 正則化列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本