Jensen-Shannon 散度

贡献者： xzllxls; addis

预备知识　KL 散度（相对熵）

　　 JS 散度（Jensen-Shannon Divergence，缩写 JSD）是基于 KL 散度（相对熵）的一种统计学度量，能够衡量两个概率分布之间的差异程度。

　　设概率空间上有两个概率分布 $P$ 和 $Q$ ， $M = \frac{1}{2} (P + Q)$ ，为 $P$ 和 $Q$ 的平均，则， $P$ 和 $Q$ 的 $J S$ 散度定义为

\begin{matrix} (1) & J S D (P | | Q) = \frac{1}{2} D_{K L} (P | | M) + \frac{1}{2} D_{K L} (Q | | M), \end{matrix}

其中，

D_{K L}

表示

K L

散度。

　　 参考文献

B. Fuglede and F. Topsoe, “Jensen-Shannon divergence and Hilbert space embedding,” in International Symposium onInformation Theory, 2004. ISIT 2004. Proceedings., 2004, p. 31–.

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。