AITerms 登入
機器學習深度學習模型訓練

目標函數(Objective Function)是什麼?

目標函數是機器學習模型訓練中用於評估模型表現的函數,其數值代表模型預測與實際值的差距,優化目標是最小化或最大化此函數。

完整定義

目標函數(Objective Function)是機器學習模型訓練的核心組成部分,它定義了模型需要優化的目標。目標函數衡量了模型預測結果與真實值之間的差異,並將這種差異量化為一個數值。模型訓練的過程就是不斷調整模型參數,以最小化(或最大化)這個目標函數的過程。目標函數的選擇直接影響模型的性能和泛化能力。

白話說明

你有沒有想過,模型訓練到底是在努力把什麼變小或變大?

你可以把它想成考試標準,模型每次改參數,都在想辦法讓這個分數更好。

目標函數定義了優化方向,是訓練過程真正要追的目標。 這種寫法常用在需要先把問題定義清楚,再逐步提升模型品質的場景。

記住這句

訓練要追的總分,就是目標函數。

比喻:目標函數就像是教練給運動員的「成績單」或「評分標準」 -- 它的分數會告訴模型現在做得好不好,分數越低(或越高,看目標)代表模型表現越棒,模型會努力調整自己,讓這張成績單的分數達到最佳。

容易混淆

目標函數 vs 損失函數

目標函數:整體要優化的東西

損失函數:衡量單筆或一批樣本誤差的量

目標函數 vs 評估指標

目標函數:訓練時拿來更新參數

評估指標:訓練後拿來看表現

實際案例

分類模型

把交叉熵設成目標函數,模型就會想把錯分類降到最低。

推薦排序

把點擊或排序品質寫進目標函數,模型就會朝業務想要的方向學。

演算法與應用

目標函數可以是最小化形式,也可以是最大化形式。

很多時候它會由多個損失項組成,再加上正則化項。

設計得好,模型學到的方向就對;設計錯,模型可能只是努力追錯目標。

中英對照與常見說法

說法
目標函數
出現場合
台灣正式用語
說法
目标函数
出現場合
簡體寫法
說法
Objective Function
出現場合
英文原名
說法
代價函數(cost function)、損失函數(loss function)
出現場合
常被混用,但涵蓋範圍不同
說法
適應度函數(fitness function)
出現場合
演化演算法脈絡下的對應詞,通常是要最大化

跟損失函數的關係

用一條式子說明兩者關係:

目標函數 = 損失項 + λ × 正則化項

損失項要模型貼合訓練資料,正則化項要模型保持簡單,λ 決定兩者的取捨。這就是為什麼「目標函數」的說法比「損失函數」更完整:實際在最佳化的從來不只是誤差。

範圍
損失函數
衡量預測與真實值的差距
目標函數
整個最佳化過程要最小化或最大化的東西
方向
損失函數
一定是越小越好
目標函數
可能是最小化也可能是最大化
包含什麼
損失函數
只有誤差項
目標函數
誤差項加正則化項,可能還有其他約束的懲罰

帶約束的最佳化

很多實際問題不是「把某個值弄到最小」這麼單純,而是「在滿足一堆條件的前提下把某個值弄到最小」。

例如投資組合:目標是最大化預期報酬,約束是風險不超過某個上限、每檔持股不超過總資產的一定比例、權重總和等於 1。

處理約束的標準工具是拉格朗日乘數法:把約束乘上一個係數併進目標函數,變成無約束問題。不等式約束則用 KKT 條件。深度學習裡的權重衰減,本質上就是「權重範數不超過某個值」這個約束的拉格朗日形式。

設計目標函數時最容易犯的錯

目標函數就是你真正在要求的東西,不是你以為你在要求的東西。 系統會精確地最佳化你寫下的式子,包括你沒想到的那些解法。

常見的失敗是指標與意圖不一致:以觀看時長為目標的推薦系統會學會推聳動內容;以點擊率為目標的標題生成會學會做標題黨;只以準確率為目標的醫療模型在陽性率 1% 的資料上會學會全部猜陰性,準確率 99% 但完全沒用。

對策有三個方向:加約束(準確率為目標,但召回率不得低於某值)、多目標加權(同時考慮觀看時長與滿意度評分)、改用更貼近意圖的指標(用 F1 或 AUC 取代準確率)。

檢查方法很簡單:問自己「如果有人只想把這個數字衝高,他會怎麼作弊?」想得到的作弊方式,模型遲早會找到。

情境判斷

Q1(直覺題):你把交叉熵放進訓練流程,模型在優化什麼?

目標函數,也就是訓練時真正要追的分數。

Q2(判斷題):訓練時損失一直下降,但線上業務指標沒變好,問題可能在哪?

目標函數和真正業務目標沒對齊。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本