AITerms 登入
神經網路數學基礎

Softmax Function(Softmax 函數)是什麼?

Softmax 函數是一種將數值轉換為機率分佈的數學工具,常用於多元分類模型,確保輸出總和為一

同主題的術語神經網路

完整定義

Softmax 函數是一種常用的激活函數,通常用於多類別分類問題的輸出層。它將一個包含任意實數的向量轉換為一個概率分佈,其中每個元素代表屬於對應類別的概率。Softmax 函數確保所有類別的概率總和為 1,方便進行概率性的預測和決策。

快速摘要

搜尋意圖:如果你在找「Softmax 是什麼」或「Softmax 和 Sigmoid 差在哪」,先抓核心:Softmax 會把多個分數轉成一組總和為 1 的機率分布。

重點:Softmax 常放在多分類模型的輸出層,把每個類別的分數轉成機率。它不是單純把值壓到 0 到 1,而是讓所有類別一起競爭同一個總機率。

實用情境:適合用在理解分類神經網路最後一層在做什麼,以及 iPAS 常見的「二分類用 Sigmoid、多分類用 Softmax」判斷題。

下一步:先把 Softmax 和 Sigmoid 分清楚,再回頭看交叉熵損失,會更容易理解模型輸出和 loss 是怎麼配對的。

白話說明

你有沒有在你要在多個候選答案中選出最可能的一個,發現只看表面常常不夠?

你可以把它想成把一堆分數重新整理成機率分布,而且全部加起來剛好是 1。

多元分類、詞彙選擇、注意力權重都需要這種可比較的機率形式。

記住這句

多選一、而且總和要等於 1,就用 Softmax。

比喻:Softmax 函數就像一個「選票分配器」-- 當有多個選項(例如 A、B、C 三個類別)時,它會把每個選項的分數(模型輸出)轉換成「得票率」,而且所有選項的得票率加起來一定是 100%。這樣你就能清楚知道哪個選項的勝算最高。

容易混淆

Sigmoid 函數

Sigmoid 像處理「二選一」的問題,把結果變成是或否的機率。

Softmax 則像處理「多選一」的問題,它會給每個選項一個機率,而且這些機率的總和保證是 1,讓你一次看到所有選項的可能性分佈。

實際案例

圖片分類模型最後要在貓、狗、鳥之間選一個最可能類別。

語言模型生成下一個 token 時,要先把詞彙表分數轉成機率。

演算法與應用

它會先對分數取指數,再做正規化,讓所有輸出都變成機率。

temperature 會影響分布尖銳程度,溫度低更保守,溫度高更分散。

公式與計算

Softmax 把一組任意實數轉成一組加總為 1 的機率。對第 i 個輸出:

softmax(z_i) = exp(z_i) / Σ_j exp(z_j)

分母是所有輸出取指數後的總和,所以每個結果都落在 0 到 1 之間,全部加起來剛好是 1。

實際算一次,假設模型三個類別的原始輸出(logits)是 2.0、1.0、0.1:

結果是 65.9%、24.2%、9.9%,加起來等於 1。

注意指數的效果:原始輸出只差 1.0,機率就差了將近 2.7 倍。所以 softmax 會放大差距,原始分數的小幅變動會造成機率的大幅變動。

步驟
原始輸出 z
類別 A
2.0
類別 B
1.0
類別 C
0.1
步驟
取指數 exp(z)
類別 A
7.389
類別 B
2.718
類別 C
1.105
步驟
除以總和 11.212
類別 A
0.659
類別 B
0.242
類別 C
0.099

兩個實務上一定會遇到的細節

數值穩定性。 直接算 exp(z) 在 z 很大時會溢位。標準做法是先把每個 z 減掉這組裡的最大值再算,結果完全相同,因為分子分母同時乘上一個常數會互相抵消。所有主流框架的 softmax 都內建這個處理。

溫度(temperature)。 把 z 除以一個溫度參數 T 再做 softmax,T 大於 1 會讓分布變平緩,輸出更隨機;T 小於 1 會讓分布更尖銳,輸出更集中。大型語言模型的 temperature 參數就是這個東西。

情境判斷

Q1(直覺題): 如果模型最後要選一個類別,Softmax 合適嗎?

合適。這就是它最典型的用途。

Q2(判斷題): 如果一個樣本可以同時屬於好幾個類別,還適合嗎?

通常不適合。看情況,多標籤任務更常用 Sigmoid。

常見比較

常見問題

範例考題

某影音串流平台建立神經網路模型,用於預測使用者最可能感興趣的影片類型。模型輸出層需將結果轉換為各類別的機率分佈,以便系統依機率高低推薦內容。下列哪一種函數最適合用於模型輸出層?

  1. ASoftmax 函數(Softmax Function)
  2. BSigmoid 函數(Sigmoid Function)
  3. C線性函數(Linear Function)
  4. DReLU 函數(Rectified Linear Unit Function)
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把Softmax 函數列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

延伸學習

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本