AITerms 登入
iPAS 中級 模型訓練最佳化機器學習

超參數(Hyperparameter)是什麼?

超參數是機器學習模型訓練前,由人為設定且影響模型學習效果的參數,例如學習率或網路層數

完整定義

超參數是一種在機器學習模型訓練之前設定的參數,它控制著模型的學習過程,例如學習率、正則化強度或神經網路的層數。與模型參數不同,超參數不是通過訓練資料學習得到的,而是需要人工設定或通過自動化方法(如網格搜索或貝葉斯優化)進行調整。在 iPAS 考試中,理解超參數及其對模型效能的影響是重要的。

白話說明

你有沒有調過模型,才發現有些設定不是學出來的,是你自己先決定的?

你可以把超參數想成訓練前先定好的規則。

像學習率、批次大小、樹深這些值,不是模型自己學,而是人先設定,會直接影響學習結果。

記住這句

先設定規則,模型才開始學。

比喻:超參數就像烤蛋糕食譜上的「烤箱溫度」和「烘烤時間」-- 你必須在開始烤之前就決定好這些數值,它們不會在烘烤過程中自己改變,但卻直接影響蛋糕最後會不會烤熟、好不好吃。模型訓練也是一樣,超參數決定了學習過程的「風味」。

容易混淆

超參數 vs 模型參數

模型參數是訓練過程中學出來的

超參數是人先設定的

最關鍵的區別是學出來,還是先選好

超參數 vs 超參數調校

超參數是那個設定本身

超參數調校是找最適合設定的過程

最關鍵的區別是值,還是找值的方法

實際案例

學習率選擇

學習率太大會震盪,太小會很慢,這就是超參數會直接影響訓練品質的典型例子。

樹模型深度

決策樹或梯度提升法的樹深,會影響模型複雜度和過擬合風險。

演算法與應用

超參數決定學習方式,不是直接學到的內容。

它們常要靠驗證資料集和搜尋方法來找,而不是憑直覺一次定死。

中英對照與常見說法

說法
超參數
出現場合
台灣正式用語
說法
超参数
出現場合
簡體寫法
說法
Hyperparameter
出現場合
英文原名
說法
超參量
出現場合
少見變體

跟參數的差別

一句話的區別:參數是模型學到的,超參數是人設定的。

誰決定
參數(parameter)
訓練過程自動學出來
超參數(hyperparameter)
訓練前由人或搜尋演算法設定
例子
參數(parameter)
神經網路的權重與偏差、迴歸係數
超參數(hyperparameter)
學習率、批次大小、層數、正則化強度、樹的深度
訓練中會變嗎
參數(parameter)
會
超參數(hyperparameter)
不會(排程器改變的是排程規則本身也是超參數的一部分)
存在哪
參數(parameter)
模型檔案裡
超參數(hyperparameter)
設定檔或實驗紀錄裡

常見的超參數分類

模型架構類:層數、每層寬度、注意力頭數、卷積核大小。這類影響模型容量。

最佳化類:學習率、批次大小、最佳化器種類、動量、學習率排程。這類影響能不能訓得起來,其中學習率影響最大。

正則化類:權重衰減係數、dropout 比例、資料增強強度、提早停止的耐心值。這類影響過擬合程度。

資料類:切分比例、取樣策略、序列長度、類別權重。

搜尋方法與正確的驗證方式

搜尋一定要用驗證集,不能用測試集。 拿測試集調超參數,測試集就不再是沒看過的資料,最終回報的分數會偏樂觀。正確流程是訓練集訓練、驗證集選超參數、測試集只在最後跑一次。

資料量小的時候用交叉驗證。 單一驗證集的分數雜訊大,可能只是切分運氣好。

搜尋範圍要用對的尺度。 學習率這類跨數量級的超參數要在對數尺度上取樣(0.0001 到 0.1),線性取樣會把絕大多數樣本浪費在同一個數量級裡。

方法
網格搜尋(grid search)
特性
全部組合都試,維度一多就爆炸
方法
隨機搜尋(random search)
特性
相同預算下通常優於網格搜尋,因為多數超參數不重要,隨機能在重要維度上取到更多不同值
方法
貝氏最佳化
特性
用過去的結果建代理模型決定下一個試哪裡,適合單次訓練很貴的情況
方法
Hyperband / ASHA
特性
早期就砍掉表現差的組合,把資源集中給有希望的,適合能中途評估的訓練

情境判斷

Q1: 學習率、批次大小、樹深,哪一種比較像超參數?

這些都屬於超參數,因為它們是人先設定的訓練條件。

Q2: 模型訓練完後自己得到的權重,算不算超參數?

不算,那是模型參數,不是超參數。

iPAS 考題

出題方向:常考超參數與模型參數的差異,以及常見超參數的影響。

題目: 下列哪一項最符合「超參數」的概念?

答案: 學習率。它是在訓練前由人設定,不是模型自己學出來的。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把超參數列為延伸術語。

立即測驗

想測試你對 超參數 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本