Jensen-Shannon 散度

贡献者： xzllxls; addis

预备知识　KL 散度（相对熵）

　　 JS 散度（Jensen-Shannon Divergence，缩写 JSD）是基于 KL 散度（相对熵）的一种统计学度量，能够衡量两个概率分布之间的差异程度。

　　设概率空间上有两个概率分布 $P$ 和 $Q$ ， $M = \frac{1}{2} (P + Q)$ ，为 $P$ 和 $Q$ 的平均，则， $P$ 和 $Q$ 的 $J S$ 散度定义为

\begin{matrix} (1) & J S D (P | | Q) = \frac{1}{2} D_{K L} (P | | M) + \frac{1}{2} D_{K L} (Q | | M), \end{matrix}

其中，

D_{K L}

表示

K L

散度。

　　 参考文献

B. Fuglede and F. Topsoe, “Jensen-Shannon divergence and Hilbert space embedding,” in International Symposium onInformation Theory, 2004. ISIT 2004. Proceedings., 2004, p. 31–.