交叉熵

贡献者： xzllxls

预备知识　随机变量、概率密度函数，反常积分（简明微积分）

　　 交叉熵（Cross entropy）是信息论中一种衡量两个数据分布之间差异的度量。在离散情形下，随机变量 $x$ 有两个概率分布 $P$ 和 $Q$ ， $P$ 和 $Q$ 的交叉熵定义如下：

\begin{matrix} (1) & H (P, Q) = - \sum_{i} P (x) l n Q (x) . \end{matrix}

　　在连续情形下，随机变量 $x$ 有两个概率密度 $p$ 和 $q$ ， $p$ 和 $q$ 的交叉熵定义如下：

\begin{matrix} (2) & H (P, Q) = - \int_{- \infty}^{+ \infty} p (x) l n q (x) d x . \end{matrix}

　　交叉熵和相对熵有一定联系，满足关系： $H (P, Q) = H (P) + K L (P | | Q)$ 。