AITerms 登入
深度學習模型訓練神經網路

梯度爆炸(Exploding Gradient)是什麼?

梯度爆炸是指在深度學習模型訓練中,梯度在反向傳播時變得異常巨大,導致權重更新過大,模型訓練不穩定甚至崩潰。

完整定義

梯度爆炸是指在深度神經網路的訓練過程中,由於反向傳播算法的特性,梯度在經過多層網路後變得非常大。這使得權重更新過大,導致模型訓練不穩定,甚至可能導致模型崩潰。梯度爆炸通常發生在循環神經網路中。

白話說明

你有沒有訓練過模型,突然 loss 飆高、參數變亂,甚至直接變成 NaN?

你可以把它想成,反向傳播時的梯度太大,更新一步跨太遠,模型一下子就失去控制。

梯度爆炸常出現在深層網路或長序列模型裡,處理不好時,訓練會又不穩又難收斂。

記住這句

梯度一失控,更新就會衝過頭。

比喻:梯度爆炸就像在山路上開車,突然油門踩到底,車子瞬間失控暴衝 -- 模型在訓練時,參數調整的「步幅」突然變得超級大,導致權重亂跳,根本無法穩定學習。

容易混淆

梯度爆炸 vs 梯度消失

梯度消失是訊號傳回去越來越小,學習像踩不到油門。

梯度爆炸是訊號越傳越大,更新像直接衝出車道。

最關鍵的區別:是太小,還是太大。

梯度爆炸 vs 學習率太高

學習率太高也會讓更新過猛。

梯度爆炸是梯度本身放大;學習率太高則是每一步都踩太重。

最關鍵的區別:問題出在梯度,還是出在步幅。

梯度爆炸 vs 訓練資料有雜訊

資料雜訊會讓模型學得不穩。

梯度爆炸更像數值運算在訓練過程中失控。

最關鍵的區別:資料問題,還是數值穩定問題。

實際案例

RNN 處理很長的序列

長序列反向傳播時,梯度可能一路放大,最後讓模型發散。

Before:學到一半就不穩。After:加梯度裁剪後,訓練曲線通常會穩很多。

深層網路訓練初期

如果初始化、學習率或正規化沒調好,梯度可能在前幾輪就爆掉。

Before:loss 抖動非常大。After:把更新幅度壓住,才有機會正常收斂。

演算法與應用

常見緩解方法有梯度裁剪、較小的學習率、合適的初始化、批次正規化與權重正則化。

如果你在 RNN、LSTM、Transformer 訓練中看到數值不穩,先檢查梯度大小和更新步幅。

實務上,梯度爆炸和梯度消失常一起出現,通常要一起排查。

情境判斷

Q1(直覺題): 為什麼梯度爆炸會讓訓練不穩?

因為權重更新太大,模型會一下跳過好解,甚至直接發散。

Q2(判斷題): 看到 loss 很震盪,就一定是梯度爆炸嗎?

看情況。也可能是學習率太高、資料太吵或初始化不佳,所以要一起排查。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把梯度爆炸列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本