完整定義
損失函數(Loss Function)用於量化機器學習模型預測結果與真實值之間的差異程度。在模型訓練過程中,目標是最小化損失函數的值,這表示模型的預測結果與實際情況更加接近。不同的機器學習任務和模型會使用不同的損失函數。
白話說明
你有沒有想過,模型到底該朝哪個方向學,才能知道自己有沒有進步?
你可以把損失函數想成,模型每次回答後被打出來的錯誤分數。
它其實就是衡量預測和真實答案差距的公式。
訓練時要做的事,就是把這個分數慢慢壓低。
記住這句
分數越低,代表模型越接近答案。
比喻:損失函數就像「教練手裡的計分板」-- 每次模型預測錯誤,教練就會在計分板上扣分;模型預測越離譜,扣分越多。教練的目標就是讓模型不斷練習,把分數降到最低,這樣就代表模型表現最棒。
容易混淆
損失函數 vs 代價函數
損失函數看單筆樣本,代價函數看整體平均。
一個是單題成績,一個是總平均。
損失函數 vs 評估指標
損失函數是訓練用的方向盤,評估指標是驗證用的成績表。
模型優化時看前者,上線比較時常看後者。
最關鍵的區別: 訓練時看它,評分時不一定只看它。
實際案例
影像分類訓練
每張圖都會算出一個誤差,損失函數把這些誤差變成可優化的方向。
推薦排序
排序模型常用不同的損失函數去拉開好結果和壞結果的差距。
演算法與應用
不同任務會用不同損失,例如分類常見交叉熵,回歸常見均方誤差。
訓練演算法就是在最小化這個函數,讓預測越來越接近真實值。
如果損失設計不對,模型很可能學偏。
中英對照與常見說法
三個詞的嚴謹區分是:損失函數算單一樣本的誤差,代價函數算整個批次或資料集的平均,目標函數是最終要最佳化的東西(常常是代價函數加上正則化項)。日常對話裡三個混用不會造成誤解,寫論文時要注意。
- 說法
- 損失函數
- 出現場合
- 台灣正式用語
- 說法
- 损失函数
- 出現場合
- 簡體寫法
- 說法
- Loss Function
- 出現場合
- 英文原名
- 說法
- 代價函數(Cost Function)
- 出現場合
- 嚴格說指整個資料集的平均損失,實務上常混用
- 說法
- 目標函數(Objective Function)
- 出現場合
- 涵蓋範圍更廣,最小化或最大化的對象都算
- 說法
- 誤差函數
- 出現場合
- 口語說法
常見損失函數與適用任務
- 損失函數
- 均方誤差(MSE)
- 任務
- 迴歸
- 特性
- 對離群值敏感,因為誤差取平方
- 損失函數
- 平均絕對誤差(MAE)
- 任務
- 迴歸
- 特性
- 對離群值穩健,但在 0 點不可微
- 損失函數
- Huber 損失
- 任務
- 迴歸
- 特性
- 小誤差用平方、大誤差用絕對值,兼顧兩者
- 損失函數
- 二元交叉熵
- 任務
- 二分類
- 特性
- 搭配 sigmoid 使用
- 損失函數
- 類別交叉熵
- 任務
- 多分類
- 特性
- 搭配 softmax 使用
- 損失函數
- Focal Loss
- 任務
- 極度不平衡的分類
- 特性
- 降低容易樣本的權重,讓模型專注在難樣本
- 損失函數
- Hinge Loss
- 任務
- 支援向量機
- 特性
- 只要分對且超過邊界就沒有損失
- 損失函數
- 對比損失、三元組損失
- 任務
- 表示學習
- 特性
- 拉近同類、推遠異類
選擇與實務上的坑
分類任務為什麼不用 MSE。 交叉熵搭配 softmax 時梯度形式簡潔(預測值減真實值),MSE 搭配 sigmoid 則在預測極度錯誤時梯度反而趨近 0,導致學不動。這叫做梯度飽和。
損失函數要跟業務指標對齊。 這是實務上最常被忽略的一點。詐欺偵測裡漏掉一筆詐欺的代價遠高於誤判一筆正常交易,用未加權的交叉熵等於假設兩種錯誤一樣貴。對策是加類別權重,或直接設計符合成本結構的自訂損失。
不可微的指標不能直接當損失。 準確率、F1、AUC 都是不可微的,不能直接做梯度下降。標準做法是訓練時用可微的代理損失(交叉熵),評估時看真正在意的指標,兩者不一致是正常的。
多個損失相加時要注意尺度。 兩個損失量級差一百倍,相加等於只在訓練其中一個。加權係數要調,或用自動平衡的方法。
損失下降不代表模型變好。 訓練損失一直降但驗證損失開始上升,就是過度擬合的標準訊號,這時候該停了。
情境判斷
Q1(直覺題): 模型訓練時一直在優化的核心數字是什麼?
就是損失函數,它告訴模型現在離答案有多遠。
Q2(判斷題): 只要損失函數下降,模型就一定能在真實世界表現很好嗎?
不一定,還要看資料品質、過擬合和評估指標。
常見問題
很多時候可以口語互說,但嚴格來看,代價函數更偏整體平均。
大多數基於梯度的方法都需要可微分,這樣才方便更新參數。
在訓練集上通常是,但還要看驗證集表現,不能只追訓練分數。
MSE 是把每筆預測值與真實值的差取平方後再平均,MSE = (1/n) Σ (yᵢ − ŷᵢ)²。例如三筆資料的誤差是 1、−2、3,平方後是 1、4、9,平均約 4.67。因為取平方,大誤差會被放大,所以 MSE 對離群值比較敏感,迴歸問題常用它當損失函數。
損失函數定義模型錯了多少,梯度下降決定參數往哪裡改。訓練時先算出損失,再對每個參數求偏微分得到梯度,參數朝梯度的反方向移動一小步,步伐大小由學習率決定,重複這個過程讓損失逐漸變小。所以損失函數的形狀會直接影響梯度下降好不好收斂。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把損失函數列為延伸術語。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本