完整定義
正規化是一種資料前處理技術,旨在將資料集中每個樣本的特徵向量縮放到一個單位範數。這意味著每個樣本的向量長度(例如L1或L2範數)將被縮放到1。正規化主要用於處理具有不同尺度的特徵,並確保每個樣本對模型的貢獻是平等的。
白話說明
你有沒有遇過,有些資料數值特別大,讓模型看起來被它們牽著走?
你可以把它想成先把每個樣本縮到差不多的大小,讓模型比較的是方向或比例,而不是原始大小。
正規化的重點是把樣本向量拉到固定範數,避免尺度太大造成偏差。
記住這句
把每個樣本縮到差不多長。
比喻:正規化就像把所有參賽者的「實力值」都換算成相同的標準單位 -- 不管你原本是「100公斤的力氣」還是「1000瓦特的功率」,都轉換成一個相對值,這樣大家才能公平比較,不會因為單位不同而產生偏差。
容易混淆
正規化 vs 標準化
正規化:把每個樣本縮到固定範數
標準化:把特徵拉成平均 0、標準差 1
正規化 vs 特徵縮放
正規化:通常處理樣本向量
特徵縮放:通常處理欄位數值範圍
實際案例
文本向量
把長短不同的文件向量正規化,方便比較相似度。
影像特徵
在某些嵌入模型裡,正規化後距離比較有意義。
演算法與應用
L1 和 L2 正規化最常見,前者偏稀疏,後者更平滑。
它常和餘弦相似度、向量檢索、以及度量學習搭配。
如果你的模型很怕向量長度影響結果,正規化通常很有用。
中英對照與常見說法
最後一列是最常見的誤譯。正規化(normalization)與正則化(regularization)中文只差一個字,英文完全不同,目的也不同。正規化處理的是數值尺度,正則化處理的是模型複雜度。看到「L2 正規化」多半是誤譯,原文應該是 L2 regularization。
- 中文
- 正規化
- 英文
- normalization
- 指的是什麼
- 把數值縮放到固定範圍,最常見是 0 到 1
- 中文
- 標準化
- 英文
- standardization
- 指的是什麼
- 減平均除標準差,讓平均為 0、標準差為 1
- 中文
- 最小最大縮放
- 英文
- min-max scaling
- 指的是什麼
- 正規化最常見的具體做法
- 中文
- 批次正規化
- 英文
- batch normalization
- 指的是什麼
- 神經網路層與層之間做的正規化
- 中文
- 正則化
- 英文
- regularization
- 指的是什麼
- 完全不同的東西,指抑制過擬合的手段
公式與什麼時候該用哪一種
最小最大正規化
x' = (x − min) / (max − min)
結果落在 0 到 1。適合需要固定範圍的場合,例如影像像素值、要餵進有界激活函數的輸入。缺點是對離群值極度敏感,一筆極端值就會把其他資料全部壓扁到很小的區間。
標準化(Z 分數)
x' = (x − μ) / σ
結果平均 0、標準差 1,沒有固定上下界。對離群值穩健得多,是多數機器學習模型的預設選擇,尤其是線性回歸、邏輯回歸、支援向量機、主成分分析這類跟距離或梯度有關的模型。
判斷方式:不確定就先用標準化。只有在明確需要有界輸出,或資料本身就有天然上下限時,才用最小最大正規化。
還有一個常被忽略的紀律:縮放參數(min、max、平均、標準差)只能從訓練集算,然後套用到驗證集與測試集。用全部資料一起算會讓測試集的資訊洩漏進訓練流程,評估數字會虛高。
情境判斷
Q1(直覺題):兩篇文件長度差很多,但你只想比較語意方向,該做什麼?
正規化,讓向量長度先統一。
Q2(判斷題):如果你的特徵本來就有絕對大小意義,還能隨便正規化嗎?
要看情況,因為縮掉大小可能也把有用訊號一起拿掉。
常見問題
不一樣,目標和處理對象都不同。
不一定,要看任務是否真的需要控制向量長度。
看你要不要稀疏表示,以及對離群值敏感不敏感。
正規化(normalization)是資料前處理,調整資料的尺度或向量長度。正則化(regularization)是訓練時在損失函數加上懲罰項,例如 L1、L2 正則化,用來降低過擬合。兩個中文譯名常被混用,看英文原文最不容易搞錯。
不是。資料庫正規化是設計資料表的方法,依第一、第二、第三正規化等規則拆分資料表,減少重複資料和更新異常。機器學習的正規化處理的是數值尺度,兩者只是中文同名。
L2 正規化是把向量除以它的長度,x' = x / ‖x‖₂,‖x‖₂ 是各元素平方和開根號。L1 正規化則是除以各元素絕對值的總和。例如 (3, 4) 的 L2 長度是 5,正規化後是 (0.6, 0.8)。
範例考題
資料科學團隊在模型訓練前,需對數值特徵進行正規化(Normalization)或標準化(Standardization)。為確保模型評估結果具真實性並避免資料洩漏(Data Leakage),下列何者為最適當的作法?
- A於資料分割前,先對完整資料集計算統計量並進行標準化處理
- B先分割訓練資料(Training Data)和測試資料(Test Data),並各自獨立計算統計量後進行標準化
- C先分割訓練資料(Training Data)和測試資料(Test Data),僅以訓練資料計算統計量,再套用至測試資料
- D僅對訓練資料(Training Data)進行標準化處理,測試資料(Test Data)保持原始數值
正解是 C:先分割訓練資料(Training Data)和測試資料(Test Data),僅以訓練資料計算統計量,再套用至測試資料
解析:為避免資料洩漏,應先分割資料,再僅使用訓練資料計算標準化的統計量(如均值、標準差),然後將相同的統計量套用到測試資料上。這樣測試資料的評估才能真實反映模型的泛化能力。
出現在這些考古題
官方公告試題的逐題解析裡,有 10 題把正規化列為延伸術語,這裡列出 5 題。
相關術語
- 特徵縮放Feature Scaling先看這個,能分清各種尺度處理。
- Z 分數Z-score和正規化常被一起比較。
- 深度學習Deep Learning很多模型訓練和向量表示都會用到。
- 機率分佈Probability Distribution理解資料尺度時常會一起用。
- 交叉驗證Cross-Validation評估前先處理資料尺度很常見。
- 批次正規化Batch Normalization
- 層歸一化Layer Normalization
- 正則化Regularization
- 最小最大值縮放Min-Max Scaling
- Z 分數標準化Z-score Normalization
- 餘弦相似度Cosine Similarity
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本