交叉熵

贡献者： xzllxls

预备知识　随机变量、概率密度函数，反常积分（简明微积分）

　　 交叉熵（Cross entropy）是信息论中一种衡量两个数据分布之间差异的度量。在离散情形下，随机变量 $x$ 有两个概率分布 $P$ 和 $Q$ ， $P$ 和 $Q$ 的交叉熵定义如下：

\begin{matrix} (1) & H (P, Q) = - \sum_{i} P (x) l n Q (x) . \end{matrix}

　　在连续情形下，随机变量 $x$ 有两个概率密度 $p$ 和 $q$ ， $p$ 和 $q$ 的交叉熵定义如下：

\begin{matrix} (2) & H (P, Q) = - \int_{- \infty}^{+ \infty} p (x) l n q (x) d x . \end{matrix}

　　交叉熵和相对熵有一定联系，满足关系： $H (P, Q) = H (P) + K L (P | | Q)$ 。

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。