AITerms 登入
深度學習神經網路模型訓練

梯度裁剪(Gradient Clipping)是什麼?

梯度裁剪是一種防止梯度爆炸問題的技術,通過限制梯度的大小,確保訓練過程的穩定性,避免模型參數更新過大。

完整定義

梯度裁剪 (Gradient Clipping) 是一種在訓練深度神經網路時使用的技術,用於防止梯度爆炸問題。梯度爆炸指的是在反向傳播過程中,梯度變得非常大,導致模型參數更新過大,訓練過程不穩定甚至發散。梯度裁剪通過設定一個閾值,限制梯度的最大值,從而避免梯度爆炸。

白話說明

你有沒有遇過模型一下子學太猛,結果整個訓練發散?

你可以把梯度裁剪想成在更新前先幫梯度踩煞車。

它不是讓模型變聰明,而是避免一次更新太大,把訓練直接衝壞。

記住這句

太大的梯度先按住再更新。

比喻:梯度裁剪就像開車時踩油門太猛時的自動限速器 -- 當模型學習的「速度」太快,參數更新幅度過大時,它會自動把更新幅度限制住,避免模型失控。

容易混淆

梯度裁剪 vs 梯度消失

梯度消失是梯度太小,模型學不動

梯度裁剪是梯度太大,模型更新太猛

最關鍵的區別是太小,還是太大

梯度裁剪 vs 降低學習率

降低學習率是整體縮小步伐

梯度裁剪是只在梯度超標時動手

最關鍵的區別是全局變慢,還是局部止血

實際案例

RNN 訓練

序列模型很容易出現梯度爆炸,梯度裁剪可以讓訓練過程穩定很多。

大批次訓練

批次太大或資料分布不穩時,梯度偶爾會飆高,裁剪可以避免一次更新把模型帶偏。

演算法與應用

常見做法是設定梯度範數上限,超過就把整體縮放回來。

它處理的是穩定性,不是資料品質問題,所以通常要和其他方法一起用。

情境判斷

Q1: 訓練中梯度 norm 常常暴衝,第一個想到什麼?

先加梯度裁剪,再看學習率和資料是否也要調整。

Q2: 訓練雖穩但一直不收斂,裁剪會是唯一解嗎?

不會,還要看學習率、模型架構和損失函數是否合理。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本