完整定義
隨機丟棄(Dropout)是一種正則化技術,用於防止深度學習模型過擬合。在訓練過程中,它會隨機地將神經網路中的部分神經元暫時關閉,迫使網路學習更具魯棒性的特徵表示。Dropout 能夠有效地減少神經元之間的共適應性,提升模型的泛化能力。在 iPAS 考試中,Dropout 的原理和應用是需要掌握的重點。
白話說明
你怕模型只記住訓練題,不會做新題嗎?
你可以把 隨機丟棄 想成防止模型訓練過頭的護欄。
它其實就是用訓練流程上的控制,讓模型不要只會背題目而不會泛化。
隨機丟棄是一種訓練技巧,透過隨機關閉部分神經元,避免網路過度依賴單一路徑,提升模型的泛化能力。當資料不夠多、模型又很強時,這類方法特別有價值。
記住這句
訓練時隨機關掉一部分神經元,逼模型別偷懶
比喻:Dropout 就像讓學生「蒙眼訓練」 -- 老師會隨機遮住一些學生的眼睛,讓他們不能一直依賴特定同學作弊。這樣一來,每個學生都得自己努力,不能偷懶,最終讓整個班級的抗壓性和應變能力都變強。
容易混淆
vs L1/L2 正則化
L1/L2 正則化像「限制體重」來避免過胖,它會懲罰過大的權重;Dropout 則像「限制食量」來避免挑食,它隨機讓神經元休息,迫使網路學習更穩健的特徵,減少對單一特徵的過度依賴。
實際案例
案例一:隨機丟棄 防止過擬合
模型開始只記訓練資料時,這類方法就能把它拉回來,讓驗證表現不要掉太快。
案例二:隨機丟棄 控制訓練節奏
當驗證損失不再改善,提早停下或隨機丟棄部分神經元,都能讓模型別在錯的方向硬撐。
深入了解
這類方法的共同目標,是讓模型在訓練集和驗證集之間保持平衡
Dropout 是在模型內部做隨機遮罩,Early Stopping 是在訓練流程上踩煞車
Dice Loss 也是一種訓練目標設計,會影響模型把注意力放在哪裡
Dropout 實際上在做什麼
訓練時,每一次前向傳播都隨機把一部分神經元的輸出設成 0,被關掉的神經元這一輪完全不參與計算,也不會被更新。每一批資料關掉的都是不同的一群。
關掉的比例叫 dropout rate,通常寫作 p。全連接層常見設 0.5,卷積層通常低很多,0.1 到 0.2,因為卷積層的參數本來就共享、比較不容易過擬合。
為什麼有效,有兩個角度:
第一,逼模型不要依賴單一神經元。 任何一個神經元隨時可能消失,所以網路必須把資訊分散儲存,不能讓某條路徑獨大。這種現象叫共適應(co-adaptation),dropout 就是在打斷它。
第二,等於在訓練大量共享參數的子網路。 每一次隨機關掉一組神經元,就等於在訓練一個不同的小網路,推論時全部一起用,效果類似整體學習(ensemble),而成本只有一個模型。
訓練與推論的行為不一樣,這是最容易出錯的地方
推論時 dropout 必須關掉,所有神經元都要參與。但這樣一來,推論時每個神經元收到的輸入總和會比訓練時大,因為訓練時有一部分被歸零了。
解法叫反向 dropout(inverted dropout):訓練時把留下來的輸出除以 (1 − p) 補回去,推論時就完全不用做任何調整。現在所有主流框架都是這個做法。
實務上你要做的只有一件事:確認推論前有切到評估模式(PyTorch 的 model.eval()、Keras 會自動處理)。忘記切的症狀是同一筆輸入每次預測結果都不一樣,而且準度莫名偏低。這是很常見的上線事故。
另外要知道:dropout 不是萬用的。批次正規化(batch normalization)本身就有正則化效果,兩者疊在一起有時會互相干擾,現代架構常常只留其中一個。Transformer 裡 dropout 仍在用,但比例通常很低。
情境判斷
Q1(直覺題): 模型開始背題不會泛化時,你會想先踩哪種煞車?
可以先考慮 Dropout 或 Early Stopping 這類訓練控制。
Q2(判斷題): 訓練越久就一定越好嗎?
看情況,因為有時候再訓練只會讓驗證表現變差,這時候應該停下來或調整正則化。
iPAS 考題
Q:Dropout 的目的主要是什麼?
主要是防止模型太依賴某幾條神經元路徑,逼它學得更穩健,減少過擬合。
Q:Dropout 在考題裡常怎麼出?
常考訓練時和推論時的差異,以及它和 L1/L2 正則化、Early Stopping 的搭配關係。
常見問題
隨機丟棄會略微增加訓練時間,因為每次迭代都需要處理一個簡化的網路。然而,由於它能有效防止過度擬合,因此可以更快地達到目標準確率,從而縮短整體訓練時間。
丟棄率 p 的選擇取決於具體的應用場景和模型結構。通常,建議從 0.2 到 0.5 之間開始嘗試,並根據驗證數據上的表現進行調整。對於較大的網路,可以使用較高的丟棄率。
是的,隨機丟棄也適用於卷積神經網路。在 CNN 中,Dropout 通常應用於全連接層,以防止過度擬合。也可以在卷積層之後使用,但效果可能不如全連接層明顯。
Dropout 在台灣常譯為隨機丟棄,也有人譯作丟棄法或直接用英文。深度學習裡它是一種正則化技巧,訓練時以機率 p 把部分神經元的輸出設為零,推論時則不丟棄。搜尋時不要和電子學的 dropout voltage(壓降)混淆。
dropout rate 是每個神經元在一次訓練步驟中被設為零的機率,通常寫作 p。以 PyTorch 的 nn.Dropout 為例,預設 p = 0.5,訓練時留下來的輸出會乘以 1/(1 − p),讓期望值維持不變,所以推論時不需要再做調整。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把隨機丟棄列為延伸術語。
立即測驗
想測試你對 隨機丟棄 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本