完整定義
批次正規化是一種用於加速深度神經網路訓練的技術。它通過在每個訓練批次中對激活函數的輸入進行標準化,來減少內部協變量偏移,從而提高模型的穩定性和收斂速度。批次正規化能夠讓模型使用更高的學習率,並減少對初始化參數的敏感度。在 iPAS 考試中,批次正規化是深度學習模型訓練中重要的概念,需要理解其原理和應用。
白話說明
深度網路訓練時忽快忽慢,能不能先把每層輸入穩住?
你可以把批次正規化想成幫每層輸入做整理,讓數值分佈不要飄太大。
它能讓訓練更穩,學習率通常也可以設得更大一點。
記住這句
先把每層數值穩住,訓練就比較走得動
比喻:批次正規化就像學生考試前的「暖身操」-- 把輸入的資訊都調整到差不多的狀態,讓神經網路學習起來更穩定、更有效率,就像選手上場前熱身一樣。
容易混淆
批次正規化 vs Layer Norm?
批次正規化:在批次維度上標準化特徵
Layer Norm:在特徵維度上標準化
最關鍵的區別:BN 看批次,LN 看單筆樣本的特徵
批次正規化 vs 正則化?
批次正規化:主要穩定訓練
正則化:主要抑制過擬合
最關鍵的區別:BN 有時會順便帶來正則效果,但不是它的唯一目的
批次正規化 vs Dropout?
批次正規化:訓練和推論時行為不同
Dropout:訓練時隨機關掉部分神經元
最關鍵的區別:BN 會用移動平均,Dropout 則是隨機遮罩
實際案例
深層影像模型
在很多卷積網路裡,BN 讓訓練不容易發散,收斂也更快
大學習率訓練
團隊想把學習率調高以加快訓練,BN 幫助模型在較大步伐下仍維持穩定
演算法與應用
- 重點
- 訓練
- 你要看什麼
- 用批次均值與方差標準化
- 為什麼重要
- 讓中間層輸入更穩定
- 重點
- 推論
- 你要看什麼
- 用移動平均統計量
- 為什麼重要
- 避免每次推論結果飄動
- 重點
- 效果
- 你要看什麼
- 穩定、加速、常帶正則感
- 為什麼重要
- 讓深層網路較好訓練
iPAS 考題
Q:批次正規化在推論階段怎麼運作?
會使用訓練時累積的移動平均統計量,而不是當下批次的統計。
Q:批次正規化的主要作用是什麼?
穩定訓練過程、改善收斂速度,並讓較大的學習率更容易使用。
情境判斷
Q1:深層模型訓練常發散,BN 有沒有可能幫忙?
有,因為它能讓中間層分佈更穩定
Q2:如果推論時還在用當下批次統計而不是訓練統計,會有什麼問題?
結果會不穩,因為單筆或小批次的統計不可靠
常見問題
不一定,但常能幫助訓練穩定並間接改善表現。
常見做法是依架構調整,但多數情況會放在激活前後的合適位置測試。
不一定,小批次下統計量較不穩,有時會改用 Layer Norm。
差在平均與變異數沿哪個方向算。批次正規化對同一個特徵、跨一個批次裡的所有樣本計算,會受批次大小影響。層正規化對單一樣本、跨同一層的所有特徵計算,跟批次大小無關,所以 Transformer 與 RNN 多半用層正規化,CNN 則常用批次正規化。
訓練時用當下這個批次的平均與變異數做正規化,同時累積移動平均。推論時改用訓練期間累積的整體統計量,讓單筆輸入也能得到穩定的輸出。在 PyTorch 裡要記得呼叫 model.eval() 切換到推論模式,否則會繼續用批次統計量。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把批次正規化列為延伸術語。
立即測驗
想測試你對 批次正規化 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本