完整定義
KL散度(Kullback-Leibler Divergence),又稱相對熵,是一種衡量兩個機率分佈P和Q之間差異的非對稱度量。它量化了使用分佈Q來近似分佈P時所損失的信息量。KL散度永遠是非負的,且當P=Q時,KL散度為零。在機器學習中,常被用於評估模型預測的分佈與真實分佈的接近程度,是變分推斷和生成模型的重要工具。
白話說明
兩個機率分佈看起來都像,但到底差多少,能不能用一個數字說清楚?
你可以把它想成拿真實分佈當標準,算另一個分佈偏離了多少資訊。
KL散度(Kullback-Leibler Divergence)衡量兩個機率分佈的差異,數值越大代表分佈差異越大,常用於評估模型預測分佈與真實分佈的接近程度。
記住這句
越小越像,但方向不能亂換。
比喻:KL 散度就像量測兩張地圖有多像 -- 如果兩張地圖的等高線、河流走向幾乎一模一樣,那 KL 散度就小;如果差很多,KL 散度就大。
容易混淆
交叉熵
交叉熵常在訓練時直接用,和 KL 散度只差一個與模型無關的常數。
JS 散度
JS 散度是對稱版本,KL 散度是不對稱版本,方向一換數字就可能不同。
實際案例
語言模型訓練
模型輸出的下一個字分佈越接近真實語料,KL 散度就越低。
變分自編碼器
VAE 會用 KL 把潛在分佈拉回設定的先驗分佈,避免空間太亂。
演算法與應用
KL 散度不是距離,因為它不對稱,也不符合三角不等式。實務上,它最常出現在分類損失、分佈對齊、知識蒸餾和變分推斷裡。當某一邊的機率為 0 時,數值可能爆大,這也是為什麼常要做平滑。
iPAS 考題
出題方向: 這類概念常考定義、差異和實務用法。
題目 關於 KL 散度,下列何者正確?
答案:B。 KL 散度衡量的是兩個機率分佈的差異,數值越小代表越接近。A 錯在它不是對稱距離,C 錯在它常用來衡量分佈差異,D 錯在方向是有意義的。
常見問題
交叉熵常在訓練時直接用,和 KL 散度只差一個與模型無關的常數。
你可以把它想成拿真實分佈當標準,算另一個分佈偏離了多少資訊。
JS 散度是對稱版本,KL 散度是不對稱版本,方向一換數字就可能不同。
離散分布寫成 D_KL(P‖Q) = Σ P(x) log(P(x) / Q(x)),連續分布把總和換成積分。對數以 2 為底時單位是位元,以 e 為底是奈特。它不對稱,D_KL(P‖Q) 一般不等於 D_KL(Q‖P),所以寫的時候要講清楚是拿 Q 去近似 P。
因為官方設計是 input 放對數機率,通常接 log_softmax 的輸出,以避免數值下溢。target 預設是一般機率,設 log_target=True 才改成對數。另外 reduction 要用 batchmean 才符合數學定義,預設的 mean 會除以全部元素數量,數值會偏小。
最小值是 0,只有兩個分布相同時才等於 0。它沒有上限,只要某個事件 P(x) 大於 0 而 Q(x) 等於 0,KL 散度就是無限大,所以實作上常對 Q 做平滑,避免出現 0 機率。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把KL散度列為延伸術語。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本