完整定義
Softmax 函數是一種常用的激活函數,通常用於多類別分類問題的輸出層。它將一個包含任意實數的向量轉換為一個概率分佈,其中每個元素代表屬於對應類別的概率。Softmax 函數確保所有類別的概率總和為 1,方便進行概率性的預測和決策。
快速摘要
搜尋意圖:如果你在找「Softmax 是什麼」或「Softmax 和 Sigmoid 差在哪」,先抓核心:Softmax 會把多個分數轉成一組總和為 1 的機率分布。
重點:Softmax 常放在多分類模型的輸出層,把每個類別的分數轉成機率。它不是單純把值壓到 0 到 1,而是讓所有類別一起競爭同一個總機率。
實用情境:適合用在理解分類神經網路最後一層在做什麼,以及 iPAS 常見的「二分類用 Sigmoid、多分類用 Softmax」判斷題。
下一步:先把 Softmax 和 Sigmoid 分清楚,再回頭看交叉熵損失,會更容易理解模型輸出和 loss 是怎麼配對的。
白話說明
你有沒有在你要在多個候選答案中選出最可能的一個,發現只看表面常常不夠?
你可以把它想成把一堆分數重新整理成機率分布,而且全部加起來剛好是 1。
多元分類、詞彙選擇、注意力權重都需要這種可比較的機率形式。
記住這句
多選一、而且總和要等於 1,就用 Softmax。
比喻:Softmax 函數就像一個「選票分配器」-- 當有多個選項(例如 A、B、C 三個類別)時,它會把每個選項的分數(模型輸出)轉換成「得票率」,而且所有選項的得票率加起來一定是 100%。這樣你就能清楚知道哪個選項的勝算最高。
容易混淆
Sigmoid 函數
Sigmoid 像處理「二選一」的問題,把結果變成是或否的機率。
Softmax 則像處理「多選一」的問題,它會給每個選項一個機率,而且這些機率的總和保證是 1,讓你一次看到所有選項的可能性分佈。
實際案例
圖片分類模型最後要在貓、狗、鳥之間選一個最可能類別。
語言模型生成下一個 token 時,要先把詞彙表分數轉成機率。
演算法與應用
它會先對分數取指數,再做正規化,讓所有輸出都變成機率。
temperature 會影響分布尖銳程度,溫度低更保守,溫度高更分散。
公式與計算
Softmax 把一組任意實數轉成一組加總為 1 的機率。對第 i 個輸出:
softmax(z_i) = exp(z_i) / Σ_j exp(z_j)
分母是所有輸出取指數後的總和,所以每個結果都落在 0 到 1 之間,全部加起來剛好是 1。
實際算一次,假設模型三個類別的原始輸出(logits)是 2.0、1.0、0.1:
結果是 65.9%、24.2%、9.9%,加起來等於 1。
注意指數的效果:原始輸出只差 1.0,機率就差了將近 2.7 倍。所以 softmax 會放大差距,原始分數的小幅變動會造成機率的大幅變動。
- 步驟
- 原始輸出 z
- 類別 A
- 2.0
- 類別 B
- 1.0
- 類別 C
- 0.1
- 步驟
- 取指數 exp(z)
- 類別 A
- 7.389
- 類別 B
- 2.718
- 類別 C
- 1.105
- 步驟
- 除以總和 11.212
- 類別 A
- 0.659
- 類別 B
- 0.242
- 類別 C
- 0.099
兩個實務上一定會遇到的細節
數值穩定性。 直接算 exp(z) 在 z 很大時會溢位。標準做法是先把每個 z 減掉這組裡的最大值再算,結果完全相同,因為分子分母同時乘上一個常數會互相抵消。所有主流框架的 softmax 都內建這個處理。
溫度(temperature)。 把 z 除以一個溫度參數 T 再做 softmax,T 大於 1 會讓分布變平緩,輸出更隨機;T 小於 1 會讓分布更尖銳,輸出更集中。大型語言模型的 temperature 參數就是這個東西。
情境判斷
Q1(直覺題): 如果模型最後要選一個類別,Softmax 合適嗎?
合適。這就是它最典型的用途。
Q2(判斷題): 如果一個樣本可以同時屬於好幾個類別,還適合嗎?
通常不適合。看情況,多標籤任務更常用 Sigmoid。
常見比較
常見問題
可以。Softmax 函數可以接受任何實數作為輸入,包括負數。指數函數會將負數轉換為介於 0 和 1 之間的數值,因此 Softmax 函數仍然能夠產生有效的機率分布。
不一定。如果輸入向量中存在相同的數值,那麼 Softmax 函數的輸出中也會存在相同的機率值。只有當輸入向量中的所有數值都不同時,Softmax 函數的輸出才是唯一的。
在常見的深度學習框架(如 TensorFlow、PyTorch)中,Softmax 函數通常作為一個層(Layer)來使用,可以直接添加到模型的輸出層。框架會自動處理 Softmax 函數的計算和梯度反向傳播。
做法是先把輸入除以溫度 T 再算 Softmax。T 大於 1 時機率分布變得比較平均,T 小於 1 時最高分的類別會更突出,T 趨近 0 時接近只選最大值。大型語言模型生成文字時調整的 temperature 就是這個參數。
Sigmoid 把每個輸出各自壓到 0 到 1 之間,彼此獨立,適合二元分類或一筆資料可屬於多個類別的多標籤分類。Softmax 會同時看全部輸出,讓機率總和為 1,適合只能選一類的多類別分類。只有兩個類別時,兩者在數學上等價。
直接計算 exp 在輸入很大時容易溢位,常見做法是先減去最大值再取指數,寫成 np.exp(x - x.max()) / np.exp(x - x.max()).sum(),結果不變但數值穩定。PyTorch、TensorFlow 內建的 softmax 已經處理好這個問題。
Softmax 是把多個分數轉成機率分布的函數,輸出值介於 0 到 1,且所有類別機率加總為 1。
因為它能把神經網路最後一層的 raw scores 轉成可解讀的類別機率,方便做分類決策與計算交叉熵損失。
範例考題
某影音串流平台建立神經網路模型,用於預測使用者最可能感興趣的影片類型。模型輸出層需將結果轉換為各類別的機率分佈,以便系統依機率高低推薦內容。下列哪一種函數最適合用於模型輸出層?
- ASoftmax 函數(Softmax Function)
- BSigmoid 函數(Sigmoid Function)
- C線性函數(Linear Function)
- DReLU 函數(Rectified Linear Unit Function)
正解是 A:Softmax 函數(Softmax Function)
解析:Softmax 函數能將輸出轉換為機率分佈,使所有類別的機率總和為 1,適用於多類別分類問題。影片類型推薦需要在多個類別中選擇,Softmax 是最適合的輸出層函數。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把Softmax 函數列為延伸術語。
相關術語
- 深度學習Deep LearningSigmoid 和 Softmax 都是深度學習裡最基本的輸出工具。
- 機器學習Machine Learning很多應用的底層都離不開機器學習。
- S 型函數Sigmoid FunctionSoftmax 最容易先和它一起比較。
- 梯度下降Gradient Descent看活化函數和輸出層時,常會一起搭配理解。
- 人工智慧Artificial Intelligence多類別輸出和機率理解,常是 AI 基礎入門。
- 交叉熵損失Cross-entropy
- 激活函數Activation Function
- 溫度採樣Temperature Sampling
本頁內容有提到,或屬於同一組主題的術語
延伸學習
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本