AITerms 登入
機器學習模型訓練統計方法

隨機森林(Random Forest)是什麼?

隨機森林是一種集成學習演算法,透過多棵決策樹投票,以隨機子集資料和特徵進行訓練,提升預測準確性

同主題的術語機器學習模型訓練

完整定義

隨機森林是一種集成學習方法,用於分類和回歸任務。它透過建立多個決策樹,並以投票或平均的方式進行預測,從而提高模型的準確性和穩定性。隨機森林在建立每棵樹時,會隨機選擇部分特徵和樣本,以增加樹的多樣性,降低過擬合的風險。它具有易於使用、對異常值不敏感等優點。

白話說明

你做分類題時,會不會覺得只靠一棵決策樹有點像只聽一個人的意見?

你可以把隨機森林想成很多棵樹一起投票,單棵樹可能會看錯,但整體通常更穩。

它的重點是用多個弱一點的判斷器,組成一個比較不容易翻車的模型。

記住這句

單棵樹可能偏,很多棵樹一起投票就穩一點。

比喻:隨機森林就像一群經驗各異的「偵探」共同破案 -- 每位偵探(決策樹)只拿到一部分線索和資料,各自判斷後再投票,最終綜合意見往往比單一偵探更可靠、更精準。

容易混淆

隨機森林 vs 決策樹

決策樹是一棵樹自己做判斷。

隨機森林是很多棵樹一起投票。

最關鍵的區別:一個單打獨鬥,一個集體決策。

隨機森林 vs 提升算法

隨機森林通常是平行訓練多棵樹,再投票。

提升算法是前一個弱模型修正下一個弱模型的錯誤。

最關鍵的區別:一個平行整合,一個逐步修正。

隨機森林 vs 裝袋法

裝袋法是用自助抽樣把多個模型訓練出來。

隨機森林是在裝袋的基礎上,再加入特徵隨機抽樣。

最關鍵的區別:隨機森林比一般裝袋多了特徵隨機性。

實際案例

信用風險判斷

金融單位要判斷申請人是否可能違約,隨機森林常能比單棵樹更穩定。

因為它不太容易被單一特徵帶偏。

醫療分類

當你要把病歷特徵分類成不同風險等級時,隨機森林常能提供不錯的基線表現。

對資料表格型任務來說,它常是很實用的起點。

演算法與應用

隨機森林會對訓練資料做自助抽樣,讓每棵樹看到不同子集。

在每個分裂節點,它也只看部分特徵,這能增加樹之間的差異。

最後用分類投票或回歸平均得到結果,通常比單棵樹更穩。

中英對照與常見說法

說法
隨機森林
出現場合
台灣正式用語
說法
随机森林
出現場合
簡體寫法
說法
Random Forest
出現場合
英文原名
說法
RF
出現場合
縮寫

兩層隨機性

隨機森林是很多棵決策樹的集成,靠兩層隨機讓每棵樹長得不一樣:

第一層,資料隨機(bagging)。 每棵樹用有放回抽樣抽出一份訓練資料,所以每棵樹看到的樣本不同。

第二層,特徵隨機。 每次要分裂節點時,只從隨機挑出的一部分特徵裡選最好的(分類任務常見是總特徵數的平方根)。這一層是隨機森林跟一般 bagging 的關鍵差別。

沒有第二層的話,如果有一個特別強的特徵,每棵樹都會先拿它來分,所有樹長得幾乎一樣,集成就失去意義。特徵隨機的目的就是讓樹之間去相關。

最後分類用投票、迴歸取平均。

為什麼它是很好的預設選擇

樹的數量越多越好,只是報酬遞減。 它不像提升法那樣加太多樹會過度擬合,加樹只是變慢。實務上幾百棵通常就飽和了。

優點
幾乎不用調參
說明
樹的數量給夠就好,其他參數用預設值通常表現就不差
優點
不用標準化特徵
說明
樹是比大小,不在意尺度
優點
能處理混合型態
說明
數值與類別特徵都能吃
優點
對離群值穩健
說明
單一極端值只影響少數幾棵樹
優點
不容易過度擬合
說明
樹越多越穩定,不會像單棵樹那樣爆掉
優點
自帶驗證
說明
袋外估計(OOB)用每棵樹沒抽到的樣本評估,不用另外切驗證集

跟梯度提升樹的差別,以及一個重要陷阱

隨機森林是平行的:每棵樹獨立訓練,互不影響,最後投票。梯度提升樹是串行的:每棵樹去修正前面所有樹的殘差。

一般來說梯度提升樹(XGBoost、LightGBM)調好之後準確度更高,但對參數敏感、容易過度擬合、也比較難調。隨機森林則是「開箱就有八成分數」的選擇。

特徵重要度有陷阱。 內建的重要度(基於不純度下降)會偏向高基數的特徵:唯一值很多的欄位(例如 ID、時間戳)即使完全沒有預測力,也可能拿到很高的重要度分數。要看可信的重要度,改用排列重要度(permutation importance)或 SHAP,並且一定要在驗證集上算。

情境判斷

Q1(直覺題): 你要做表格型資料的分類,想要一個穩定基線,先考慮什麼?

先考慮隨機森林,因為它通常比單棵決策樹更穩。

Q2(判斷題): 如果你很在意模型可解釋性,隨機森林一定比決策樹更適合嗎?

不一定,因為隨機森林通常更難直觀解讀,若你要很清楚的規則,單棵樹反而更好。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把隨機森林列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本