AITerms 登入
機器學習模型訓練最佳化

超參數調校(Hyperparameter Tuning)是什麼?

超參數調校是機器學習中,尋找最佳超參數組合以提升模型效能的過程,涉及多次模型訓練與評估。

完整定義

超參數調校是指在機器學習模型訓練過程中,調整模型外部的可配置參數(超參數),以達到最佳模型效能的過程。與模型內部透過學習得到的參數不同,超參數需要在訓練前設定,並透過多次實驗來尋找最佳組合。

白話說明

你有沒有試過同一個模型,只是把幾個設定換掉,結果好壞差很多?

你可以把超參數調校想成幫模型找最合適的設定組合。

它不是在改模型本身,而是在找最適合這個資料的訓練方式。

記住這句

不是調模型本身,而是在調學法。

比喻:超參數調校就像廚師在研發一道新菜時,不斷調整食譜上的配料比例和烹調時間 -- 每次調整後都要試吃,看看味道有沒有變好。這過程就是為了找到最完美的組合,讓菜餚(模型)達到最好吃的狀態(最佳效能)。

容易混淆

超參數調校 vs 模型訓練

模型訓練是讓模型學資料

超參數調校是找怎麼學比較好

最關鍵的區別是學內容,還是調學法

網格搜尋 vs 隨機搜尋 vs 貝氏最佳化

網格搜尋逐格試

隨機搜尋隨機抽樣試

貝氏最佳化會根據過去結果更聰明地選下一組

實際案例

分類模型調參

你可以先固定資料切分,再試不同學習率和正則化強度,找出驗證表現最好的組合。

深度學習實驗

不同 batch size、learning rate 和 dropout 率常會讓結果差很多,所以調校流程幾乎是必要的。

演算法與應用

超參數調校通常依賴驗證資料集,不是只看訓練集。

如果一直盯著驗證集調到太滿,也會把驗證集一起過擬合。

中英對照與常見說法

說法
超參數調校、超參數調整
出現場合
台灣正式用語
說法
超参数调优、超参数调整
出現場合
簡體寫法
說法
Hyperparameter Tuning / Hyperparameter Optimization
出現場合
英文原名
說法
調參
出現場合
最常見的口語說法
說法
HPO
出現場合
縮寫

四種搜尋策略

隨機搜尋為什麼常常勝過網格搜尋:多數超參數其實不重要,只有少數幾個有影響。網格搜尋在不重要的維度上浪費了大量組合,隨機搜尋則能在重要的維度上取到更多不同的值。

方法
網格搜尋(grid search)
怎麼決定下一組
事先列出所有組合逐一試
適合
超參數少(兩三個)、範圍明確
方法
隨機搜尋(random search)
怎麼決定下一組
從分布隨機抽
適合
預設選擇,相同預算下通常勝過網格搜尋
方法
貝氏最佳化
怎麼決定下一組
用過去結果建代理模型,挑最有希望的
適合
單次訓練很貴、評估次數有限
方法
Hyperband / ASHA
怎麼決定下一組
先給每組少量資源,早期淘汰表現差的
適合
訓練可以中途評估、能大量平行

該調什麼,順序是什麼

先調學習率。它的影響通常比其他所有超參數加起來還大。用學習率範圍測試找到損失下降最陡的那一段,比盲目搜尋快得多。

接著調正則化強度(權重衰減、dropout 比例)與批次大小。批次大小改了學習率通常要跟著改,兩者要一起看。

架構類參數(層數、寬度)擺最後,因為改了之後前面調好的東西都要重來。

範圍要用對的尺度。 學習率、正則化係數這類跨數量級的參數要在對數尺度上取樣,線性取樣會把絕大多數樣本浪費在同一個數量級裡。

最容易犯的三個錯

拿測試集調參。 調參一定要用驗證集。用測試集調,最終回報的分數就不再是對未知資料的誠實估計,而是一個被最佳化過的數字。

調參預算花在錯的地方。 資料品質、特徵設計、標籤正確性對結果的影響常常遠大於調參。模型明顯欠擬合或資料明顯有問題的時候,調參是最沒有效率的一步。

忽略隨機性。 同一組超參數換個隨機種子跑,結果可能差一截。差異很小的兩組超參數,分數差距若在隨機波動範圍內,就不該宣稱哪一組比較好。判斷方式是把最佳那組用不同種子多跑幾次,看變異有多大。

情境判斷

Q1: 你有很多參數要調,還會先用哪種搜尋法?

常先考慮隨機搜尋,再視情況看貝氏最佳化。

Q2: 你只有少數幾個參數,每個可選值都不多,哪種方法比較直觀?

網格搜尋會比較直觀。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,有 8 題把超參數調校列為延伸術語,這裡列出 5 題。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本