完整定義
超參數調校是指在機器學習模型訓練過程中,調整模型外部的可配置參數(超參數),以達到最佳模型效能的過程。與模型內部透過學習得到的參數不同,超參數需要在訓練前設定,並透過多次實驗來尋找最佳組合。
白話說明
你有沒有試過同一個模型,只是把幾個設定換掉,結果好壞差很多?
你可以把超參數調校想成幫模型找最合適的設定組合。
它不是在改模型本身,而是在找最適合這個資料的訓練方式。
記住這句
不是調模型本身,而是在調學法。
比喻:超參數調校就像廚師在研發一道新菜時,不斷調整食譜上的配料比例和烹調時間 -- 每次調整後都要試吃,看看味道有沒有變好。這過程就是為了找到最完美的組合,讓菜餚(模型)達到最好吃的狀態(最佳效能)。
容易混淆
超參數調校 vs 模型訓練
模型訓練是讓模型學資料
超參數調校是找怎麼學比較好
最關鍵的區別是學內容,還是調學法
網格搜尋 vs 隨機搜尋 vs 貝氏最佳化
網格搜尋逐格試
隨機搜尋隨機抽樣試
貝氏最佳化會根據過去結果更聰明地選下一組
實際案例
分類模型調參
你可以先固定資料切分,再試不同學習率和正則化強度,找出驗證表現最好的組合。
深度學習實驗
不同 batch size、learning rate 和 dropout 率常會讓結果差很多,所以調校流程幾乎是必要的。
演算法與應用
超參數調校通常依賴驗證資料集,不是只看訓練集。
如果一直盯著驗證集調到太滿,也會把驗證集一起過擬合。
中英對照與常見說法
- 說法
- 超參數調校、超參數調整
- 出現場合
- 台灣正式用語
- 說法
- 超参数调优、超参数调整
- 出現場合
- 簡體寫法
- 說法
- Hyperparameter Tuning / Hyperparameter Optimization
- 出現場合
- 英文原名
- 說法
- 調參
- 出現場合
- 最常見的口語說法
- 說法
- HPO
- 出現場合
- 縮寫
四種搜尋策略
隨機搜尋為什麼常常勝過網格搜尋:多數超參數其實不重要,只有少數幾個有影響。網格搜尋在不重要的維度上浪費了大量組合,隨機搜尋則能在重要的維度上取到更多不同的值。
- 方法
- 網格搜尋(grid search)
- 怎麼決定下一組
- 事先列出所有組合逐一試
- 適合
- 超參數少(兩三個)、範圍明確
- 方法
- 隨機搜尋(random search)
- 怎麼決定下一組
- 從分布隨機抽
- 適合
- 預設選擇,相同預算下通常勝過網格搜尋
- 方法
- 貝氏最佳化
- 怎麼決定下一組
- 用過去結果建代理模型,挑最有希望的
- 適合
- 單次訓練很貴、評估次數有限
- 方法
- Hyperband / ASHA
- 怎麼決定下一組
- 先給每組少量資源,早期淘汰表現差的
- 適合
- 訓練可以中途評估、能大量平行
該調什麼,順序是什麼
先調學習率。它的影響通常比其他所有超參數加起來還大。用學習率範圍測試找到損失下降最陡的那一段,比盲目搜尋快得多。
接著調正則化強度(權重衰減、dropout 比例)與批次大小。批次大小改了學習率通常要跟著改,兩者要一起看。
架構類參數(層數、寬度)擺最後,因為改了之後前面調好的東西都要重來。
範圍要用對的尺度。 學習率、正則化係數這類跨數量級的參數要在對數尺度上取樣,線性取樣會把絕大多數樣本浪費在同一個數量級裡。
最容易犯的三個錯
拿測試集調參。 調參一定要用驗證集。用測試集調,最終回報的分數就不再是對未知資料的誠實估計,而是一個被最佳化過的數字。
調參預算花在錯的地方。 資料品質、特徵設計、標籤正確性對結果的影響常常遠大於調參。模型明顯欠擬合或資料明顯有問題的時候,調參是最沒有效率的一步。
忽略隨機性。 同一組超參數換個隨機種子跑,結果可能差一截。差異很小的兩組超參數,分數差距若在隨機波動範圍內,就不該宣稱哪一組比較好。判斷方式是把最佳那組用不同種子多跑幾次,看變異有多大。
情境判斷
Q1: 你有很多參數要調,還會先用哪種搜尋法?
常先考慮隨機搜尋,再視情況看貝氏最佳化。
Q2: 你只有少數幾個參數,每個可選值都不多,哪種方法比較直觀?
網格搜尋會比較直觀。
常見問題
因為同樣的模型,不同設定可能差很多。
可以用交叉驗證,或保留最終測試集不要一直看。
通常要花時間,所以常要在效果和成本間取捨。
出現在這些考古題
官方公告試題的逐題解析裡,有 8 題把超參數調校列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本