AITerms 登入
機器學習模型訓練最佳化

隨機搜尋(Random Search)是什麼?

隨機搜尋是一種超參數最佳化方法,它在預定義的超參數空間中隨機選擇參數組合,並評估其性能,以找到最佳的超參數配置。

完整定義

隨機搜尋是一種簡單但有效的超參數最佳化技術。它在預先定義的超參數空間中隨機抽樣參數組合,然後使用驗證集評估每個組合的性能。與網格搜尋不同,隨機搜尋不會窮舉所有可能的組合,因此在大型超參數空間中更有效率。

白話說明

你在調模型參數時,會不會發現想試的組合太多,根本不可能一格一格掃完?

你可以把隨機搜尋想成在超參數空間裡先隨機抽一些點來試,再看哪個組合最好。

它的好處是簡單、便宜,尤其在參數很多的時候,常比硬掃整張表更有效率。

記住這句

參數太多時,隨機抽樣常比整格掃更划算。

比喻:隨機搜尋就像在一個大寶藏地圖上,隨意選幾個點去挖寶 -- 你不知道哪個點有寶藏,就隨機挑幾個地方試試看,希望能在有限時間內,找到一個表現不錯的寶藏(超參數組合)。

容易混淆

隨機搜尋 vs 網格搜尋

網格搜尋會把每個參數切成固定格子慢慢試。

隨機搜尋是先隨機抽樣幾組來評估。

最關鍵的區別:一個全格掃,一個抽點試。

隨機搜尋 vs 貝氏最佳化

隨機搜尋不會根據前一次結果調整下一次抽樣。

貝氏最佳化會利用過去結果,挑更有希望的組合。

最關鍵的區別:一個單純抽樣,一個會學習方向。

隨機搜尋 vs 暴力搜尋

暴力搜尋想把所有組合都試完。

隨機搜尋只取一部分代表性組合。

最關鍵的區別:一個想全試,一個先試最有機會的區域。

實際案例

深度學習調參

你要找學習率、批次大小和 dropout 的組合時,隨機搜尋能先快速試出大方向。

這比把每個值都硬排列組合更省時間。

樹模型最佳化

想調隨機森林或 XGBoost 的參數時,隨機搜尋常是第一輪很實用的做法。

它能先幫你縮小合理範圍。

演算法與應用

隨機搜尋先定義超參數範圍,再從每個範圍中隨機抽值,跑訓練並比驗證分數。

在高維空間裡,它常比網格搜尋更有效,因為不是每個參數都同樣重要。

若你後面還想更精準,可以再接貝氏最佳化或手動細調。

情境判斷

Q1(直覺題): 你有五個超參數要調,每個都有很多可能值,先用哪種方法比較實際?

先用隨機搜尋,因為它能更快覆蓋到不同區域。

Q2(判斷題): 如果你只想把所有組合都完整列出來,隨機搜尋還是最佳選擇嗎?

不一定,因為那種需求比較像網格搜尋或暴力搜尋,隨機搜尋比較適合先找好區域。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把隨機搜尋列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本