詹森-夏農散度 vs KL散度
Jensen-Shannon Divergence vs KL Divergence
詹森-夏農散度 側重 詹森-夏農散度(JSD)是以 KL 散度為基礎的對稱指標,衡量兩個機率分布的差異程度,對數以 2 為底時,值介於 0 到 1。,而 KL散度 側重 KL散度(Kullback-Leibler Divergence)衡量兩個機率分佈的差異,數值越大代表分佈差異越大,常用於評估模型預測分佈與真實分佈的接近程度。。
逐項比較
| 項目 | 詹森-夏農散度 | KL散度 |
|---|---|---|
| 一句定義 | 詹森-夏農散度(JSD)是以 KL 散度為基礎的對稱指標,衡量兩個機率分布的差異程度,對數以 2 為底時,值介於 0 到 1。 | KL散度(Kullback-Leibler Divergence)衡量兩個機率分佈的差異,數值越大代表分佈差異越大,常用於評估模型預測分佈與真實分佈的接近程度。 |
| 常見標籤 | 統計方法、模型評估、機器學習、生成式AI | 機器學習、深度學習、模型評估、統計方法、生成式AI、模型訓練、自然語言處理 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | JSD 和 KL 散度最重要的差異是什麼? | KL散度 最容易跟 交叉熵 混淆嗎? |