KL 散度（相对熵）

贡献者： xzllxls

预备知识　随机变量、概率密度函数，反常积分（简明微积分）

　　 $K L$ 散度（Kullback–Leibler divergence，缩写 KLD）是一种统计学度量，表示的是一个概率分布相对于另一个概率分布的差异程度，在信息论中又称为相对熵（Relative entropy）。

　　设离散概率空间 $X$ 上有两个概率分布 $P$ 和 $Q$ ，那么 $P$ 相对于 $Q$ 的 $K L$ 散度定义如下：

\begin{matrix} (1) & D_{K L} (P | | Q) = \sum_{x \in X} P (x) l n (\frac{P (x)}{Q (x)}) = \sum_{x \in X} P (x) (l n (P (x)) - l n (Q (x))) . \end{matrix}

　　对于连续型随机变量，设概率空间 $X$ 上有两个概率分布 $P$ 和 $Q$ ，其概率密度分别为 $p$ 和 $q$ ，那么， $P$ 相对于 $Q$ 的 $K L$ 散度定义如下：

\begin{matrix} (2) & D_{K L} (P | | Q) = \int_{- \infty}^{+ \infty} p (x) l n (\frac{p (x)}{q (x)}) d x . \end{matrix}

　　显然，当 $P = Q$ 时， $D_{K L} = 0$ 。

　　根据 $K L$ 散度的定义，可以知道此度量是没有对称性的。也就是说， $P$ 相对于 $Q$ 和 $K L$ 散度一般并不等于 $Q$ 相对于 $P$ 的。由于 $K L$ 散度能够衡量两个概率分布之间的差异，现在广泛用于机器学习中，用于评估生成模型所产生的数据分布与实际数据分布之间的差异程度。

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。