贝叶斯公式

贡献者： jiangnan

预备知识　条件概率，从集合论角度看随机事件

1. 前言

　　贝叶斯公式可常常用于概率模型中的统计推断。在开始讨论贝叶斯公式前，我们需要定义几个概念。

定义 1　划分

　　设 S 为一个样本空间，我们定义对一个样本空间的划分为一系列的事件 $A_{1}, A_{2}, A_{3} . . ., A_{n}$ ，这些事件对于 $\forall i, j$ 且 $i \neq j$ 都满足 $A_{i} \cap A_{j} = \emptyset$ ,且对于他们的并集满足 $A_{1} \cup A_{2} \cup . . . \cup A_{n} = S$ 。

　　划分是对样本空间进行的两两互不相交的切割，当我们有了划分后，对于任意一个事件 $B$ 发生的概率，就可以看做是在每个划分中 $B$ 事件发生的概率再乘以每个划分发生的概率，再对所有划分求和。

定理 1　全概率公式

　　设 $A_{1}, A_{2}, . . . A_{n}$ 是样本空间 $S$ 的一个划分，则任意一个事件 $B$ 发生的概率可以写为 $P (B) = \sum_{i} P (B A_{i}) = \sum_{i} P (B | A_{i}) P (A_{i}) .$

　　证明如下，我们可以将事件 B 作一个切分， $B = B \cap S = B \cap (A_{1} \cup A_{2} \cup . . . \cup A_{n})$ ,根据集合运算的分配率，我们有

\begin{array}{r} (1) & B = (B \cap A_{1}) \cup (B \cap A_{2}) \cup . . . \cup (B \cap A_{n}), \end{array}

由于

{A_{i}}

是

S

的划分，有

A_{i} \cap A_{j} = \emptyset

，而

(B \cap A_{i}) \cap (B \cap A_{j}) \subseteq A_{i} \cap A_{j}

,于是我们知道

(B \cap A_{i}) \cap (B \cap A_{j}) = \emptyset

。根据概率与条件概率的定义，我们有

\begin{array}{r} (2) & P (B) = \sum_{i} P (B \cap A_{i}) = \sum_{i} P (B | A_{i}) P (A_{i}) . \end{array}

2. 贝叶斯公式

定理 2　贝叶斯公式

　　设 $S$ 为样本空间， $A_{1}, A_{2}, . . . A_{n}$ 为样本空间的一个划分， $B$ 为一个事件，则有

\begin{matrix} (3) & P (A_{i} | B) = \frac{P (B | A_{i}) P (A_{i})}{P (B)} = \frac{P (B | A_{i}) P (A_{i})}{\sum_{j} P (B | A_{j}) P (A_{j})} . \end{matrix}

　　贝叶斯公式证明如下：根据条件概率公式的定义 $P (A | B) = P (A B) / P (B)$ , $P (B | A) = P (B A) / P (A)$ ,我们显然有 $A B = A \cap B = B A$ ,于是对比得到一个等式

\begin{matrix} (4) & P (A | B) P (B) = P (B | A) P (A), \end{matrix}

或

\begin{matrix} (5) & P (A | B) = \frac{P (B | A) P (A)}{P (B)} . \end{matrix}

将上述等式做代换

A \to A_{i}

即可得到贝叶斯公式

\begin{matrix} (6) & P (A_{i} | B) = \frac{P (B | A_{i}) P (A_{i})}{P (B)}, \end{matrix}

再代入刚刚给出的全概率公式即可得到贝叶斯公式中第二个等式。

3. 贝叶斯公式的应用

　　我们先来看一下贝叶斯公式说了什么，条件概率的表达式 $P (A | B)$ 中，事件 $B$ 作为前提，事件 $A$ 作为结果，给出了在前提事件下作为结果的事件发生的概率，因此我们说 $P (A | B)$ 描述了两个事件之间的因果关系强度。而贝叶斯公式的另一侧将前提事件与结果事件翻转过来了，这种翻转使得我们能够形成推断。具体讨论前我们先看例子

例 1　疾病原因的推断

　　有一种肺部疾病 A，它的发病率为 $2 %$ ，通过临床数据的统计，我们发现患者中有 $70 %$ 吸烟，有百分之 $30 %$ 不吸烟。我们调查发现人群中大概 $20 %$ 吸烟，则一个不吸烟的人患疾病 A 的概率为多大？
我们用事件 A 表示患有疾病 A，用事件 $B_{1}$ 表示吸烟, $B_{2}$ 表示不吸烟，则有 $P (B_{1} | A) = 0.7, P (B_{2} | A) = 0.3$ ,我们要求的概率可以写为 $P (A | B_{2})$ ,而根据贝叶斯公式,我们有

\begin{matrix} (7) & P (A | B_{2}) = \frac{P (B_{2} | A) P (A)}{P (B_{2})}, \end{matrix}

代入

P (A) = 0.02

P (B_{2}) = 0.8

我们得到

P (A | B_{2}) = 0.0075

。同理对一个吸烟的人，它患有疾病 A 的概率为

\begin{matrix} (8) & P (A | B_{1}) = \frac{P (B_{1} | A) P (A)}{P (B_{1})} = 0.07 . \end{matrix}

　　这个例子中，我们给出推断的方式是，我们先得到了关于疾病的统计数据，然后对患病人群进行划分。这里的划分是吸烟与不吸烟，我们将这个划分应用到整个人群中，通过统计在人群之中划分给出的概率，我们就可以推断吸烟的人换疾病 A 的概率与不吸烟的人换疾病 A 的概率。
在推断前后，我们的信息从 “结果，以及结果中对可能因素的划分”，得到了 “可能的因素对结果的影响”，以此实现了统计推断。

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。

贝叶斯公式

1. 前言

定义 1 划分

定理 1 全概率公式