摘要：
JS散度相似性度量。utm_ Source=copyKL散度、JS散度和交叉熵是用于测量两种概率分布之间差异的指标。非负相对熵的值是非负的，即D＞0.2）JS散度，也称为JS距离，是KL散度的变化。然而，有两个主要方面与KL不同：值范围JS散度的范围是[0,1]，相同的是0，相反的是1。与KL相比，相似度的判别更准确。对称性是JS=JS，这可以从数学表达式中看出。3） 交叉熵在神经网络中，交叉熵可以用作损失函数，因为它可以测量P和Q之间的相似性。
JS散度相似度衡量指标。
https://blog.csdn.net/wateryouyo/article/details/52831115
https://blog.csdn.net/FrankieHello/article/details/80614422?utm_source=copy
KL散度、JS散度和交叉熵
三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。
对于概率分布P(x)和Q(x)
1）KL散度（Kullback–Leibler divergence）
又称KL距离，相对熵。
当P(x)和Q(x)的相似度越高，KL散度越小。
KL散度主要有两个性质：
（1）不对称性
尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。
（2）非负性
相对熵的值是非负值，即D(P||Q)>0。
2）JS散度（Jensen-Shannon divergence）
JS散度也称JS距离，是KL散度的一种变形。
但是不同于KL主要又两方面：
（1）值域范围
JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。
（2）对称性
即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。
3）交叉熵（Cross Entropy）
在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性。
交叉熵和相对熵的关系：
以上都是基于离散分布的概率，如果是连续的数据，则需要对数据进行Probability Density Estimate来确定数据的概率分布，就不是求和而是通过求积分的形式进行计算了。