完整定義
梯度下降是一種最佳化演算法,用於尋找函數的最小值。在機器學習中,它被廣泛用於訓練模型,通過迭代調整模型參數,沿著損失函數梯度下降的方向,逐步逼近最佳解,以最小化預測誤差。在 iPAS 考試中,梯度下降是理解模型訓練過程的重要概念,需要掌握其基本原理和應用。
白話說明
你有沒有想過,模型是怎麼一步一步把錯誤壓下來的?
你可以把梯度下降想成沿著山坡往低處走的過程。
它會根據損失函數的斜率調整參數,讓模型慢慢往更好的答案靠近。
記住這句
沿著最陡方向往山谷走,慢慢修正。
比喻:梯度下降就像一個在山頂迷路的人,想走到山谷最低點 -- 他每次都看周圍最陡峭的下坡方向走一小步,慢慢就能走到山谷底部,找到最低點。
容易混淆
梯度下降 vs 隨機梯度下降
梯度下降每次看整批資料
隨機梯度下降每次看較小的資料片段
最關鍵的區別是穩定慢,還是快但抖
梯度下降 vs 最小平方法
梯度下降是迭代式優化
最小平方法是直接求解析解的路徑
最關鍵的區別是反覆逼近,還是一次算出來
實際案例
線性回歸
你要找一條最適合資料的直線時,梯度下降可以一點一點把參數調到更好的位置。
神經網路訓練
深度學習裡的大多數權重更新,本質上都是梯度下降在工作。
演算法與應用
核心三件事是梯度、學習率和損失函數,這三個要一起看。
步伐太大會震盪,太小會很慢,所以調學習率幾乎是每次訓練都會做的事。
主要用途:這是最常被問的一句
梯度下降(Gradient Descent)的主要用途是最小化損失函數,藉此找出模型參數。它不是分類方法,也不是特徵處理方法,而是訓練階段用來「往哪個方向調參數」的最佳化演算法。
更新規則只有一行:
新參數 = 舊參數 − 學習率 × 損失函數對該參數的梯度
梯度指向損失上升最快的方向,所以前面要加負號,往反方向走才是下降。學習率決定一步走多遠。
三種變體
平常講的 SGD,在深度學習框架裡指的其實幾乎都是小批次版本。
- 變體
- 批次梯度下降(BGD)
- 每次更新用多少資料
- 全部訓練資料
- 特性
- 方向最準,但資料一大就跑不動
- 變體
- 隨機梯度下降(SGD)
- 每次更新用多少資料
- 一筆
- 特性
- 更新快、雜訊大,雜訊有時反而幫忙跳出局部低點
- 變體
- 小批次梯度下降(Mini-batch GD)
- 每次更新用多少資料
- 一小批,常見 32 到 512
- 特性
- 兼顧穩定與效率,實務上的預設做法
常見的改良與卡住的地方
動量(Momentum):把過去的更新方向累積下來,像滾下坡的球。可以壓平震盪、加速穿過狹長的谷地。
AdaGrad、RMSProp、Adam:依每個參數自己的梯度歷史調整有效步長。梯度長期很小的參數會拿到比較大的步長。Adam 等於動量加上 RMSProp,是目前最通用的預設選擇。
鞍點比局部最低點更棘手。高維空間裡真正的局部最低點很少,大部分讓訓練停滯的是鞍點(某些方向往上、某些方向往下)。動量類方法主要就是在處理這件事。
梯度消失與梯度爆炸:深層網路裡梯度連乘會指數縮小或放大。對策包括殘差連接、正規化層、梯度裁剪(gradient clipping)與適當的初始化。
前提是損失函數要可微。不可微的目標函數(例如直接最佳化準確率)就不能用梯度下降,得改用其他搜尋方法。
情境判斷
Q1: 損失一直掉得很慢,第一個會懷疑什麼?
先看學習率是不是太小,或者特徵和模型是否太保守。
Q2: 訓練到一半損失忽上忽下,會想到什麼?
可能學習率太高,或批次太小導致更新太晃。
iPAS 考題
出題方向:常考梯度下降的概念、學習率影響,以及和最小平方法的差異。
題目: 某模型在訓練時,透過反覆修正參數來讓損失函數下降,這最符合哪個概念?
答案: 梯度下降。它的核心就是根據梯度方向持續更新參數,讓誤差逐步變小。
常見問題
不一定,尤其在非凸問題上可能卡在局部最小值或鞍點。
不是,太大會震盪甚至發散。
當你想要比較穩定的更新,而且資料量和算力允許時。
參數更新規則是 θ ← θ - η∇L(θ),θ 是模型參數,η 是學習率,∇L(θ) 是損失函數對參數的梯度。梯度指向損失上升最快的方向,所以減去它就是往下走。每走一步就重新計算梯度,直到損失幾乎不再下降。
主要有四個。非凸問題可能停在局部最小值或鞍點,學習率設不好會太慢或發散,批次梯度下降每一步都要看全部資料,資料一大就很耗時,而且通常要求損失函數可微分才能算梯度。實務上常用小批次、動量或 Adam 等方法改善。
動量(momentum)會把過去幾步的更新方向累積起來,下一步同時參考目前的梯度與累積的方向,像球滾下坡時帶著慣性。好處是在狹長的谷地裡比較不會左右震盪,也能加快收斂。PyTorch 的 SGD 最佳化器就有 momentum 參數可以設定。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把梯度下降列為延伸術語。
立即測驗
想測試你對 梯度下降 的掌握程度?用考古題作答
相關術語
來源
參考來源:ipd.nat.gov.tw
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本