AITerms 登入
深度學習神經網路模型訓練

反向傳播(Backpropagation)是什麼?

反向傳播是訓練神經網路時計算梯度的方法:先前向算出輸出與損失,再依連鎖律從輸出層往輸入層,算出損失對每個參數的梯度。

完整定義

反向傳播(Backpropagation)是計算神經網路參數梯度的方法。訓練時先做前向傳播:輸入資料一層一層往後算,得到輸出與損失,並把途中的中間值存起來。接著做反向傳播:依微積分的連鎖律,從輸出層往輸入層反向走過網路,算出損失對每個權重與偏差的梯度,途中重複使用前向時存下的中間值。拿到梯度之後,再交給梯度下降這類最佳化演算法更新參數,訓練就是前向傳播與反向傳播交替進行。1986 年 Rumelhart、Hinton 與 Williams 在 Nature 發表的論文把這種學習方法稱為 back-propagation,描述它反覆調整網路連線的權重,讓實際輸出和期望輸出之間的差異盡量變小,並讓不屬於輸入或輸出的隱藏單元學到代表任務重要特徵的表示。用詞的範圍要留意:d2l 教科書把反向傳播定義為計算梯度的方法,Google 機器學習詞彙表則把它描述成在神經網路中實作梯度下降的演算法,說反向傳遞(也就是反向傳播)會調整權重來降低損失,PyTorch 官方教學的說明也把用梯度下降最佳化參數算在裡面。

白話說明

神經網路有成千上萬個權重,訓練時怎麼知道每個權重該往哪個方向調?

靠的是反向傳播:先前向算出預測與損失,再依連鎖律從輸出層往回算,得到損失對每個參數的梯度。

有了梯度,梯度下降這類最佳化演算法才能更新權重。照 d2l 教科書的定義,反向傳播負責算出梯度,依梯度調整參數是最佳化演算法的工作。

記住這句

前向算出損失,反向依連鎖律算出每個參數的梯度,再交給梯度下降更新權重,訓練就是這兩步一直交替。

比喻:反向傳播像考完試從總分往回檢討:先把整份考卷照順序寫完(前向傳播),再從失分的地方一步一步往回追,算出每個步驟讓分數差了多少(梯度),下次才知道每個地方該調整多少

容易混淆

反向傳播 vs 梯度下降

照 d2l 教科書的定義,反向傳播負責算梯度,也就是損失對每個參數的偏導數

梯度下降這類最佳化演算法負責用梯度更新參數

在 PyTorch 裡是兩個步驟:loss.backward() 算出梯度並存進每個參數的 .grad,optimizer.step() 再依 .grad 調整參數。

前向傳播 vs 反向傳播

前向傳播從輸入層往輸出層算,依序計算並儲存中間值,最後得到輸出與損失

反向傳播從輸出層往輸入層算,重複使用這些中間值算出梯度

訓練時兩者交替進行,只做預測時不需要算梯度,所以不必做反向傳播。

用詞範圍不同

d2l 教科書把反向傳播定義為計算梯度的方法

Google 機器學習詞彙表說反向傳遞(也就是反向傳播)會調整權重來降低損失,PyTorch 官方教學也把用梯度下降最佳化參數寫進反向傳播的說明

看到「反向傳播會更新權重」這類說法時,先分清楚它是只指算梯度,還是把更新參數也算進去。

實際案例

PyTorch 的一次訓練步驟

呼叫 model(data) 是前向傳播,autograd 會記錄張量與執行過的運算,形成一張計算圖。呼叫 loss.backward() 是反向傳播,autograd 沿著這張圖用連鎖律算出梯度,存進每個參數的 .grad,接著 optimizer.step() 依 .grad 調整參數。每次呼叫 .backward() 之後,autograd 會從頭建立一張新的計算圖。

訓練比推論吃記憶體

反向傳播要重複使用前向傳播存下的中間值,這些值得保留到反向傳播完成,d2l 把這列為訓練比單純預測需要多很多記憶體的原因之一。d2l 也指出中間值的大小大約和網路層數與批次大小成正比,網路越深、批次越大,越容易記憶體不足。

激活值檢查點:用計算換記憶體

PyTorch 說明,預設情況下前向傳遞算出的張量會一直保留,等反向傳遞算梯度時使用。使用激活值檢查點(activation checkpointing)時,被包起來那一段在前向時產生的張量不會一直保留,反向傳遞需要時再重新執行那一段算回來,用多一點運算換取較少的記憶體。

演算法與應用

前向傳播:輸入資料一層一層往後算,依序計算並儲存中間變數,最後得到輸出與損失。

反向傳播:從損失開始,依連鎖律由輸出層往輸入層反向計算,依序算出中間變數與參數的梯度,前向時存下的中間值在這一步重複使用,避免重算。

更新參數:最佳化演算法(例如隨機梯度下降)依梯度調整權重,再用下一批資料重複前向與反向。

深層網路的梯度是許多項連乘的結果,可能變得非常小(梯度消失)或非常大(梯度爆炸)。sigmoid 的梯度在輸入很大或很小時都會消失,d2l 提到 ReLU 能減緩梯度消失,也已經成為實務上的預設選擇。

情境判斷

Q1(直覺題):模型推論時記憶體夠用,一開始訓練就顯示 GPU 記憶體不足,可能的原因是什麼?

原因之一是訓練要做反向傳播:前向傳播的中間值得保留到反向傳播完成,所以比單純預測需要更多記憶體,而且大約隨層數與批次大小增加。可以先縮小批次大小,或用激活值檢查點不保留部分中間值,反向傳遞時再重算。

Q2(判斷題):「反向傳播會更新神經網路的權重」這句話對嗎?

要看用詞範圍。d2l 把反向傳播定義為計算梯度的方法,實際更新權重的是梯度下降這類最佳化演算法,在 PyTorch 裡就是 loss.backward() 和 optimizer.step() 兩個步驟。Google 機器學習詞彙表與 PyTorch 官方教學的說明則把依梯度調整參數也算進反向傳播,遇到題目時先看它指的是只算梯度,還是連更新參數也算在內。

Q3(判斷題):網路很深時,前面幾層的權重幾乎不動,和反向傳播有什麼關係?

反向傳播依連鎖律把很多項乘起來,層數一多,傳到前面幾層的梯度可能小到接近零,參數幾乎不會更新,這就是梯度消失。sigmoid 在輸入很大或很小時梯度都會消失,改用 ReLU 可以減緩。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:www.nature.com

其他格式:Markdown 版本