---
title: "反向傳播（Backpropagation）"
slug: backpropagation
language: zh-TW
source: https://aiterms.tw/terms/backpropagation
updated_at: 2026-11-17
tags: [深度學習, 神經網路, 模型訓練, 最佳化, AI基礎, 倒傳遞, 倒傳遞演算法, 反向傳播演算法, Backprop, Back-propagation, Backward Propagation, 連鎖律]
ipas_term: false
---

# 反向傳播（Backpropagation）

> **神經網路有成千上萬個權重，訓練時怎麼知道每個權重該往哪個方向調？**
>
> 靠的是反向傳播：先前向算出預測與損失，再依連鎖律從輸出層往回算，得到損失對每個參數的梯度。
>
> 有了梯度，梯度下降這類最佳化演算法才能更新權重。照 d2l 教科書的定義，反向傳播負責算出梯度，依梯度調整參數是最佳化演算法的工作。

### 容易混淆

> **反向傳播 vs 梯度下降**
>
> 照 d2l 教科書的定義，反向傳播負責算梯度，也就是損失對每個參數的偏導數
> 梯度下降這類最佳化演算法負責用梯度更新參數
> 在 PyTorch 裡是兩個步驟：loss.backward() 算出梯度並存進每個參數的 .grad，optimizer.step() 再依 .grad 調整參數。
>
> **前向傳播 vs 反向傳播**
>
> 前向傳播從輸入層往輸出層算，依序計算並儲存中間值，最後得到輸出與損失
> 反向傳播從輸出層往輸入層算，重複使用這些中間值算出梯度
> 訓練時兩者交替進行，只做預測時不需要算梯度，所以不必做反向傳播。
>
> **用詞範圍不同**
>
> d2l 教科書把反向傳播定義為計算梯度的方法
> Google 機器學習詞彙表說反向傳遞（也就是反向傳播）會調整權重來降低損失，PyTorch 官方教學也把用梯度下降最佳化參數寫進反向傳播的說明
> 看到「反向傳播會更新權重」這類說法時，先分清楚它是只指算梯度，還是把更新參數也算進去。
>

### 記住這句就好

> 前向算出損失，反向依連鎖律算出每個參數的梯度，再交給梯度下降更新權重，訓練就是這兩步一直交替。

### 實際案例

> **PyTorch 的一次訓練步驟**
> 呼叫 model(data) 是前向傳播，autograd 會記錄張量與執行過的運算，形成一張計算圖。呼叫 loss.backward() 是反向傳播，autograd 沿著這張圖用連鎖律算出梯度，存進每個參數的 .grad，接著 optimizer.step() 依 .grad 調整參數。每次呼叫 .backward() 之後，autograd 會從頭建立一張新的計算圖。
>
> **訓練比推論吃記憶體**
> 反向傳播要重複使用前向傳播存下的中間值，這些值得保留到反向傳播完成，d2l 把這列為訓練比單純預測需要多很多記憶體的原因之一。d2l 也指出中間值的大小大約和網路層數與批次大小成正比，網路越深、批次越大，越容易記憶體不足。
>
> **激活值檢查點：用計算換記憶體**
> PyTorch 說明，預設情況下前向傳遞算出的張量會一直保留，等反向傳遞算梯度時使用。使用激活值檢查點（activation checkpointing）時，被包起來那一段在前向時產生的張量不會一直保留，反向傳遞需要時再重新執行那一段算回來，用多一點運算換取較少的記憶體。
>

### 演算法與應用

> 前向傳播：輸入資料一層一層往後算，依序計算並儲存中間變數，最後得到輸出與損失。
> 反向傳播：從損失開始，依連鎖律由輸出層往輸入層反向計算，依序算出中間變數與參數的梯度，前向時存下的中間值在這一步重複使用，避免重算。
> 更新參數：最佳化演算法（例如隨機梯度下降）依梯度調整權重，再用下一批資料重複前向與反向。
> 深層網路的梯度是許多項連乘的結果，可能變得非常小（梯度消失）或非常大（梯度爆炸）。sigmoid 的梯度在輸入很大或很小時都會消失，d2l 提到 ReLU 能減緩梯度消失，也已經成為實務上的預設選擇。

### 情境判斷

> **Q1（直覺題）：模型推論時記憶體夠用，一開始訓練就顯示 GPU 記憶體不足，可能的原因是什麼？**
>
> → 原因之一是訓練要做反向傳播：前向傳播的中間值得保留到反向傳播完成，所以比單純預測需要更多記憶體，而且大約隨層數與批次大小增加。可以先縮小批次大小，或用激活值檢查點不保留部分中間值，反向傳遞時再重算。
>
> **Q2（判斷題）：「反向傳播會更新神經網路的權重」這句話對嗎？**
>
> → 要看用詞範圍。d2l 把反向傳播定義為計算梯度的方法，實際更新權重的是梯度下降這類最佳化演算法，在 PyTorch 裡就是 loss.backward() 和 optimizer.step() 兩個步驟。Google 機器學習詞彙表與 PyTorch 官方教學的說明則把依梯度調整參數也算進反向傳播，遇到題目時先看它指的是只算梯度，還是連更新參數也算在內。
>
> **Q3（判斷題）：網路很深時，前面幾層的權重幾乎不動，和反向傳播有什麼關係？**
>
> → 反向傳播依連鎖律把很多項乘起來，層數一多，傳到前面幾層的梯度可能小到接近零，參數幾乎不會更新，這就是梯度消失。sigmoid 在輸入很大或很小時梯度都會消失，改用 ReLU 可以減緩。
>

---

來源：https://aiterms.tw/terms/backpropagation
快查頁：https://aiterms.tw/terms/backpropagation
出處：
- Learning representations by back-propagating errors（Rumelhart、Hinton、Williams，Nature 323，1986）：https://www.nature.com/articles/323533a0
- Dive into Deep Learning 5.3 Forward Propagation, Backward Propagation, and Computational Graphs（d2l.ai 開放教科書，查核時為 1.0.3 版）：https://d2l.ai/chapter_multilayer-perceptrons/backprop.html
- Dive into Deep Learning 5.4 Numerical Stability and Initialization（d2l.ai 開放教科書，查核時為 1.0.3 版）：https://d2l.ai/chapter_multilayer-perceptrons/numerical-stability-and-init.html
- A Gentle Introduction to torch.autograd（PyTorch 官方教學）：https://docs.pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html
- Machine Learning Glossary: backpropagation（Google for Developers）：https://developers.google.com/machine-learning/glossary#backpropagation
- torch.utils.checkpoint（PyTorch 官方文件，查核時為 2.15 版）：https://docs.pytorch.org/docs/stable/checkpoint.html
最後更新：2026/11/17