AITerms 登入
深度學習模型訓練神經網路

梯度消失(Vanishing Gradient)是什麼?

梯度消失是指在深度學習模型訓練中,梯度在反向傳播時逐漸縮小至接近於零,導致淺層網路權重難以更新,模型學習停滯。

完整定義

梯度消失是指在深度神經網路的訓練過程中,由於反向傳播算法的特性,梯度在經過多層網路後變得非常小,甚至接近於零。這使得淺層網路的權重難以得到有效更新,導致模型無法學習到有效的特徵,最終影響模型的性能。

白話說明

你有沒有看過訊息一層層傳下去,結果越傳越小聲?

你可以把梯度消失想成「模型往前傳很深時,學習訊號越傳越弱」

這會讓前面的層幾乎學不到東西,訓練就卡住

在很深的神經網路裡,這是常見的訓練問題

記住這句

訊號一層層變小,前面的層就學不動。

比喻:梯度消失就像在玩傳話遊戲 -- 訊息(梯度)從隊伍尾端(輸出層)傳到隊伍前端(輸入層)時,每傳一個人聲音就變小一點,傳到最後面的人幾乎聽不到,就不知道要做什麼反應了。

容易混淆

梯度消失 vs 梯度爆炸

梯度消失是訊號太小

梯度爆炸是訊號太大

最關鍵的區別:太弱和太強

梯度消失 vs 欠擬合

梯度消失是訓練上的病灶

欠擬合是結果現象

最關鍵的區別:原因層和結果層不同

梯度消失 vs 學習率太小

學習率太小會讓更新步伐慢

梯度消失是反向傳播訊號本身變弱

最關鍵的區別:步伐小和訊號小不是同一件事

實際案例

很深的序列模型

舊式 RNN 在長序列上常因梯度消失而學不到前面的資訊

深層網路訓練

前幾層權重幾乎不更新,模型就只剩後面幾層在學

演算法與應用

飽和激活函數像 sigmoid 容易把梯度壓小深網常出問題
反向傳播誤差信號一路往前傳傳到前面時可能太弱
殘差設計讓訊息有捷徑可走可減輕問題
梯度裁剪主要是防爆炸,不是專治消失不要混在一起

情境判斷

Q1(直覺題):深層模型訓練到前面幾層幾乎不更新,先懷疑什麼?

先懷疑梯度消失,因為訊號可能傳不到前層。

Q2(判斷題):把學習率調大就能解掉梯度消失嗎?

不一定,因為問題在梯度本身變小,不只是更新步伐。

常見問題

範例考題

某團隊訓練深層神經網路模型時,發現訓練誤差長時間幾乎不下降,模型參數更新幅度極小,呈現學習停滯現象。若研判問題與梯度傳遞效率有關,下列何者最適合的改善策略?

  1. A延長模型訓練時間,使模型有更多機會調整參數
  2. B增加訓練樣本數量,以提升模型學習能力
  3. C調整模型中的啟動函數設定,以改善訓練過程的穩定性
  4. D簡化模型結構,以降低模型過度擬合的可能性
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把梯度消失列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本