KL 散度（相对熵）

贡献者： xzllxls

预备知识　随机变量、概率密度函数，反常积分（简明微积分）

　　 $KL$ 散度（Kullback–Leibler divergence，缩写 KLD）是一种统计学度量，表示的是一个概率分布相对于另一个概率分布的差异程度，在信息论中又称为相对熵（Relative entropy）。

　　设离散概率空间 $X$ 上有两个概率分布 $P$ 和 $Q$，那么 $P$ 相对于 $Q$ 的 $KL$ 散度定义如下：

\begin{equation} D_{KL}(P||Q)=\sum_{x\in X}P(x)ln(\frac{P(x)}{Q(x)})=\sum_{x\in X}P(x)(ln(P(x))-ln(Q(x)))~. \end{equation}

　　对于连续型随机变量，设概率空间 $X$ 上有两个概率分布 $P$ 和 $Q$，其概率密度分别为 $p$ 和 $q$，那么，$P$ 相对于 $Q$ 的 $KL$ 散度定义如下：

\begin{equation} D_{KL}(P||Q)=\int_{-\infty}^{+\infty}p(x)ln(\frac{p(x)}{q(x)})dx~. \end{equation}

　　显然，当 $P=Q$ 时，$D_{KL}=0$。

　　根据 $KL$ 散度的定义，可以知道此度量是没有对称性的。也就是说，$P$ 相对于 $Q$ 和 $KL$ 散度一般并不等于 $Q$ 相对于 $P$ 的。由于 $KL$ 散度能够衡量两个概率分布之间的差异，现在广泛用于机器学习中，用于评估生成模型所产生的数据分布与实际数据分布之间的差异程度。