AITerms 登入
機器學習模型訓練最佳化

梯度提升法(Gradient Boosting)是什麼?

梯度提升法是一種機器學習技術,透過迭代地組合弱學習器(通常是決策樹)來建立強大的預測模型,每次迭代都專注於修正前一個模型的錯誤。

完整定義

梯度提升法是一種集成學習演算法,它透過逐步建立模型來進行預測。每個新模型都旨在修正先前模型的預測誤差,這種方法透過梯度下降來最佳化損失函數,最終將所有弱學習器的預測結果組合起來,形成一個更準確的強學習器。

白話說明

你有沒有想過,模型每次犯錯都能接著把錯補回來?

你可以把梯度提升法想成一群接力修正答案的小老師。

它會一棵一棵地加上弱模型,每一輪都專心修正前一輪的錯誤,最後把很多小改進疊成強模型。

記住這句

一棵接一棵修前一棵的錯。

比喻:梯度提升法就像一位不斷學習改進的學生 -- 每次考試都找出錯題來加強練習,下次再錯就再改,直到所有題目都掌握得很好了。

容易混淆

梯度提升法 vs 隨機森林

隨機森林是很多樹一起投票

梯度提升法是樹一棵一棵接著修錯

最關鍵的區別是並行投票,還是序列修正

梯度提升法 vs 提升算法

提升算法是更大的家族

梯度提升法是其中一種實作

最關鍵的區別是家族名稱,還是具體方法

實際案例

信用風險評分

銀行常用梯度提升法來預測借款人會不會違約,因為它在表格資料上通常很強。

需求預測

零售或物流場景裡,梯度提升法可以把天氣、節日、歷史銷量一起納入,逐步修正預測偏差。

演算法與應用

它很擅長處理結構化資料,但也比較容易因為樹太深或輪數太多而過擬合。

實務上常要調整學習率、樹深和樹數,讓模型在準確度和穩定度之間取得平衡。

情境判斷

Q1: 你要做表格型預測,資料量中等,想先挑一個常勝方法,會想到什麼?

梯度提升法通常是很好的起點。

Q2: 模型訓練集表現一直提升,但驗證集開始變差,你該怎麼想?

可能是樹數太多或樹太深,過擬合開始出現。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把梯度提升法列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本