完整定義
反向傳播(Backpropagation)是計算神經網路參數梯度的方法。訓練時先做前向傳播:輸入資料一層一層往後算,得到輸出與損失,並把途中的中間值存起來。接著做反向傳播:依微積分的連鎖律,從輸出層往輸入層反向走過網路,算出損失對每個權重與偏差的梯度,途中重複使用前向時存下的中間值。拿到梯度之後,再交給梯度下降這類最佳化演算法更新參數,訓練就是前向傳播與反向傳播交替進行。1986 年 Rumelhart、Hinton 與 Williams 在 Nature 發表的論文把這種學習方法稱為 back-propagation,描述它反覆調整網路連線的權重,讓實際輸出和期望輸出之間的差異盡量變小,並讓不屬於輸入或輸出的隱藏單元學到代表任務重要特徵的表示。用詞的範圍要留意:d2l 教科書把反向傳播定義為計算梯度的方法,Google 機器學習詞彙表則把它描述成在神經網路中實作梯度下降的演算法,說反向傳遞(也就是反向傳播)會調整權重來降低損失,PyTorch 官方教學的說明也把用梯度下降最佳化參數算在裡面。
白話說明
神經網路有成千上萬個權重,訓練時怎麼知道每個權重該往哪個方向調?
靠的是反向傳播:先前向算出預測與損失,再依連鎖律從輸出層往回算,得到損失對每個參數的梯度。
有了梯度,梯度下降這類最佳化演算法才能更新權重。照 d2l 教科書的定義,反向傳播負責算出梯度,依梯度調整參數是最佳化演算法的工作。
記住這句
前向算出損失,反向依連鎖律算出每個參數的梯度,再交給梯度下降更新權重,訓練就是這兩步一直交替。
比喻:反向傳播像考完試從總分往回檢討:先把整份考卷照順序寫完(前向傳播),再從失分的地方一步一步往回追,算出每個步驟讓分數差了多少(梯度),下次才知道每個地方該調整多少
容易混淆
反向傳播 vs 梯度下降
照 d2l 教科書的定義,反向傳播負責算梯度,也就是損失對每個參數的偏導數
梯度下降這類最佳化演算法負責用梯度更新參數
在 PyTorch 裡是兩個步驟:loss.backward() 算出梯度並存進每個參數的 .grad,optimizer.step() 再依 .grad 調整參數。
前向傳播 vs 反向傳播
前向傳播從輸入層往輸出層算,依序計算並儲存中間值,最後得到輸出與損失
反向傳播從輸出層往輸入層算,重複使用這些中間值算出梯度
訓練時兩者交替進行,只做預測時不需要算梯度,所以不必做反向傳播。
用詞範圍不同
d2l 教科書把反向傳播定義為計算梯度的方法
Google 機器學習詞彙表說反向傳遞(也就是反向傳播)會調整權重來降低損失,PyTorch 官方教學也把用梯度下降最佳化參數寫進反向傳播的說明
看到「反向傳播會更新權重」這類說法時,先分清楚它是只指算梯度,還是把更新參數也算進去。
實際案例
PyTorch 的一次訓練步驟
呼叫 model(data) 是前向傳播,autograd 會記錄張量與執行過的運算,形成一張計算圖。呼叫 loss.backward() 是反向傳播,autograd 沿著這張圖用連鎖律算出梯度,存進每個參數的 .grad,接著 optimizer.step() 依 .grad 調整參數。每次呼叫 .backward() 之後,autograd 會從頭建立一張新的計算圖。
訓練比推論吃記憶體
反向傳播要重複使用前向傳播存下的中間值,這些值得保留到反向傳播完成,d2l 把這列為訓練比單純預測需要多很多記憶體的原因之一。d2l 也指出中間值的大小大約和網路層數與批次大小成正比,網路越深、批次越大,越容易記憶體不足。
激活值檢查點:用計算換記憶體
PyTorch 說明,預設情況下前向傳遞算出的張量會一直保留,等反向傳遞算梯度時使用。使用激活值檢查點(activation checkpointing)時,被包起來那一段在前向時產生的張量不會一直保留,反向傳遞需要時再重新執行那一段算回來,用多一點運算換取較少的記憶體。
演算法與應用
前向傳播:輸入資料一層一層往後算,依序計算並儲存中間變數,最後得到輸出與損失。
反向傳播:從損失開始,依連鎖律由輸出層往輸入層反向計算,依序算出中間變數與參數的梯度,前向時存下的中間值在這一步重複使用,避免重算。
更新參數:最佳化演算法(例如隨機梯度下降)依梯度調整權重,再用下一批資料重複前向與反向。
深層網路的梯度是許多項連乘的結果,可能變得非常小(梯度消失)或非常大(梯度爆炸)。sigmoid 的梯度在輸入很大或很小時都會消失,d2l 提到 ReLU 能減緩梯度消失,也已經成為實務上的預設選擇。
情境判斷
Q1(直覺題):模型推論時記憶體夠用,一開始訓練就顯示 GPU 記憶體不足,可能的原因是什麼?
原因之一是訓練要做反向傳播:前向傳播的中間值得保留到反向傳播完成,所以比單純預測需要更多記憶體,而且大約隨層數與批次大小增加。可以先縮小批次大小,或用激活值檢查點不保留部分中間值,反向傳遞時再重算。
Q2(判斷題):「反向傳播會更新神經網路的權重」這句話對嗎?
要看用詞範圍。d2l 把反向傳播定義為計算梯度的方法,實際更新權重的是梯度下降這類最佳化演算法,在 PyTorch 裡就是 loss.backward() 和 optimizer.step() 兩個步驟。Google 機器學習詞彙表與 PyTorch 官方教學的說明則把依梯度調整參數也算進反向傳播,遇到題目時先看它指的是只算梯度,還是連更新參數也算在內。
Q3(判斷題):網路很深時,前面幾層的權重幾乎不動,和反向傳播有什麼關係?
反向傳播依連鎖律把很多項乘起來,層數一多,傳到前面幾層的梯度可能小到接近零,參數幾乎不會更新,這就是梯度消失。sigmoid 在輸入很大或很小時梯度都會消失,改用 ReLU 可以減緩。
常見問題
計算神經網路參數梯度的方法。先做前向傳播算出輸出與損失,並存下中間值,再依連鎖律從輸出層往輸入層反向計算,得到損失對每個權重與偏差的梯度,交給梯度下降這類最佳化演算法更新參數。
照 d2l 教科書的定義,反向傳播算梯度,梯度下降用梯度更新參數。在 PyTorch 裡,loss.backward() 會把梯度存進每個參數的 .grad,optimizer.step() 再依 .grad 調整參數。也有資料把依梯度調整參數也算進反向傳播,例如 Google 機器學習詞彙表與 PyTorch 官方教學的說明,所以讀題時要先看它指的範圍。
反向傳播要重複使用前向傳播存下的中間值,這些值得保留到反向傳播完成,d2l 把這列為訓練比推論需要更多記憶體的原因之一。中間值的大小大約和層數與批次大小成正比,網路越深、批次越大越容易記憶體不足。PyTorch 的激活值檢查點可以不保留部分中間值,反向傳遞時再重算,用運算換記憶體。
反向傳播依連鎖律把很多項乘起來,d2l 指出深層網路的梯度是許多項的乘積,可能變得非常小或非常大,也就是梯度消失與梯度爆炸。sigmoid 的梯度在輸入很大或很小時都會消失,ReLU 能減緩梯度消失。
Rumelhart、Hinton 與 Williams 在 Nature 發表〈Learning representations by back-propagating errors〉,把一種用於類神經元單元網路的學習方法稱為 back-propagation:反覆調整連線權重,讓網路實際輸出和期望輸出之間的差異盡量變小,並讓不屬於輸入或輸出的隱藏單元學到代表任務重要特徵的表示。
相關術語
來源
參考來源:www.nature.com
其他格式:Markdown 版本