詹森-夏農散度 vs KL 散度
Jensen-Shannon Divergence vs Kullback-Leibler Divergence
詹森-夏農散度 側重 詹森-夏農散度(JSD)是以 KL 散度為基礎的對稱指標,衡量兩個機率分布的差異程度,對數以 2 為底時,值介於 0 到 1。,而 KL 散度 側重 衡量兩個機率分佈之間差異程度的指標,常用於資訊理論、生成模型訓練與分佈比較。。
逐項比較
| 項目 | 詹森-夏農散度 | KL 散度 |
|---|---|---|
| 一句定義 | 詹森-夏農散度(JSD)是以 KL 散度為基礎的對稱指標,衡量兩個機率分布的差異程度,對數以 2 為底時,值介於 0 到 1。 | 衡量兩個機率分佈之間差異程度的指標,常用於資訊理論、生成模型訓練與分佈比較。 |
| 常見標籤 | 統計方法、模型評估、機器學習、生成式AI | 資訊理論、機率分佈、VAE、生成模型、iPAS |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | JSD 和 KL 散度最重要的差異是什麼? | KL 散度和 JS 散度有什麼差別?應該用哪一個? |