完整定義
梯度裁剪 (Gradient Clipping) 是一種在訓練深度神經網路時使用的技術,用於防止梯度爆炸問題。梯度爆炸指的是在反向傳播過程中,梯度變得非常大,導致模型參數更新過大,訓練過程不穩定甚至發散。梯度裁剪通過設定一個閾值,限制梯度的最大值,從而避免梯度爆炸。
白話說明
你有沒有遇過模型一下子學太猛,結果整個訓練發散?
你可以把梯度裁剪想成在更新前先幫梯度踩煞車。
它不是讓模型變聰明,而是避免一次更新太大,把訓練直接衝壞。
記住這句
太大的梯度先按住再更新。
比喻:梯度裁剪就像開車時踩油門太猛時的自動限速器 -- 當模型學習的「速度」太快,參數更新幅度過大時,它會自動把更新幅度限制住,避免模型失控。
容易混淆
梯度裁剪 vs 梯度消失
梯度消失是梯度太小,模型學不動
梯度裁剪是梯度太大,模型更新太猛
最關鍵的區別是太小,還是太大
梯度裁剪 vs 降低學習率
降低學習率是整體縮小步伐
梯度裁剪是只在梯度超標時動手
最關鍵的區別是全局變慢,還是局部止血
實際案例
RNN 訓練
序列模型很容易出現梯度爆炸,梯度裁剪可以讓訓練過程穩定很多。
大批次訓練
批次太大或資料分布不穩時,梯度偶爾會飆高,裁剪可以避免一次更新把模型帶偏。
演算法與應用
常見做法是設定梯度範數上限,超過就把整體縮放回來。
它處理的是穩定性,不是資料品質問題,所以通常要和其他方法一起用。
情境判斷
Q1: 訓練中梯度 norm 常常暴衝,第一個想到什麼?
先加梯度裁剪,再看學習率和資料是否也要調整。
Q2: 訓練雖穩但一直不收斂,裁剪會是唯一解嗎?
不會,還要看學習率、模型架構和損失函數是否合理。
常見問題
會,裁太狠可能讓模型學得保守。
通常要用驗證集試,沒有萬用數字。
不能,常要和正則化、早停法一起配合。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本