完整定義
超參數是一種在機器學習模型訓練之前設定的參數,它控制著模型的學習過程,例如學習率、正則化強度或神經網路的層數。與模型參數不同,超參數不是通過訓練資料學習得到的,而是需要人工設定或通過自動化方法(如網格搜索或貝葉斯優化)進行調整。在 iPAS 考試中,理解超參數及其對模型效能的影響是重要的。
白話說明
你有沒有調過模型,才發現有些設定不是學出來的,是你自己先決定的?
你可以把超參數想成訓練前先定好的規則。
像學習率、批次大小、樹深這些值,不是模型自己學,而是人先設定,會直接影響學習結果。
記住這句
先設定規則,模型才開始學。
比喻:超參數就像烤蛋糕食譜上的「烤箱溫度」和「烘烤時間」-- 你必須在開始烤之前就決定好這些數值,它們不會在烘烤過程中自己改變,但卻直接影響蛋糕最後會不會烤熟、好不好吃。模型訓練也是一樣,超參數決定了學習過程的「風味」。
容易混淆
超參數 vs 模型參數
模型參數是訓練過程中學出來的
超參數是人先設定的
最關鍵的區別是學出來,還是先選好
超參數 vs 超參數調校
超參數是那個設定本身
超參數調校是找最適合設定的過程
最關鍵的區別是值,還是找值的方法
實際案例
學習率選擇
學習率太大會震盪,太小會很慢,這就是超參數會直接影響訓練品質的典型例子。
樹模型深度
決策樹或梯度提升法的樹深,會影響模型複雜度和過擬合風險。
演算法與應用
超參數決定學習方式,不是直接學到的內容。
它們常要靠驗證資料集和搜尋方法來找,而不是憑直覺一次定死。
中英對照與常見說法
- 說法
- 超參數
- 出現場合
- 台灣正式用語
- 說法
- 超参数
- 出現場合
- 簡體寫法
- 說法
- Hyperparameter
- 出現場合
- 英文原名
- 說法
- 超參量
- 出現場合
- 少見變體
跟參數的差別
一句話的區別:參數是模型學到的,超參數是人設定的。
- 誰決定
- 參數(parameter)
- 訓練過程自動學出來
- 超參數(hyperparameter)
- 訓練前由人或搜尋演算法設定
- 例子
- 參數(parameter)
- 神經網路的權重與偏差、迴歸係數
- 超參數(hyperparameter)
- 學習率、批次大小、層數、正則化強度、樹的深度
- 訓練中會變嗎
- 參數(parameter)
- 會
- 超參數(hyperparameter)
- 不會(排程器改變的是排程規則本身也是超參數的一部分)
- 存在哪
- 參數(parameter)
- 模型檔案裡
- 超參數(hyperparameter)
- 設定檔或實驗紀錄裡
常見的超參數分類
模型架構類:層數、每層寬度、注意力頭數、卷積核大小。這類影響模型容量。
最佳化類:學習率、批次大小、最佳化器種類、動量、學習率排程。這類影響能不能訓得起來,其中學習率影響最大。
正則化類:權重衰減係數、dropout 比例、資料增強強度、提早停止的耐心值。這類影響過擬合程度。
資料類:切分比例、取樣策略、序列長度、類別權重。
搜尋方法與正確的驗證方式
搜尋一定要用驗證集,不能用測試集。 拿測試集調超參數,測試集就不再是沒看過的資料,最終回報的分數會偏樂觀。正確流程是訓練集訓練、驗證集選超參數、測試集只在最後跑一次。
資料量小的時候用交叉驗證。 單一驗證集的分數雜訊大,可能只是切分運氣好。
搜尋範圍要用對的尺度。 學習率這類跨數量級的超參數要在對數尺度上取樣(0.0001 到 0.1),線性取樣會把絕大多數樣本浪費在同一個數量級裡。
- 方法
- 網格搜尋(grid search)
- 特性
- 全部組合都試,維度一多就爆炸
- 方法
- 隨機搜尋(random search)
- 特性
- 相同預算下通常優於網格搜尋,因為多數超參數不重要,隨機能在重要維度上取到更多不同值
- 方法
- 貝氏最佳化
- 特性
- 用過去的結果建代理模型決定下一個試哪裡,適合單次訓練很貴的情況
- 方法
- Hyperband / ASHA
- 特性
- 早期就砍掉表現差的組合,把資源集中給有希望的,適合能中途評估的訓練
情境判斷
Q1: 學習率、批次大小、樹深,哪一種比較像超參數?
這些都屬於超參數,因為它們是人先設定的訓練條件。
Q2: 模型訓練完後自己得到的權重,算不算超參數?
不算,那是模型參數,不是超參數。
iPAS 考題
出題方向:常考超參數與模型參數的差異,以及常見超參數的影響。
題目: 下列哪一項最符合「超參數」的概念?
答案: 學習率。它是在訓練前由人設定,不是模型自己學出來的。
常見問題
學習率、批次大小、層數、樹深、正則化強度都很常見。
因為它會直接影響模型能不能學好、會不會過擬合。
不是,通常要根據資料和任務調整。
參數是模型在訓練中從資料學出來的值,例如神經網路的權重與偏差。超參數是由人或搜尋演算法設定的值,例如學習率、批次大小、樹的深度,不會由梯度下降直接學出來。scikit-learn 文件的說法是,超參數是不在估計器內直接學習的參數。
常見方法有網格搜尋、隨機搜尋與貝氏最佳化。網格搜尋把候選值全部組合試一遍,隨機搜尋在範圍內抽樣,貝氏最佳化依過去的結果決定下一組要試的值。不論用哪種方法,都要用驗證集或交叉驗證評分,不能拿測試集來挑超參數。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把超參數列為延伸術語。
立即測驗
想測試你對 超參數 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本