随机变量、概率密度函数

贡献者：零穹; addis

预备知识　定积分

　　生活中有许多现象可以看做是随机的，例如掷骰子的点数。事实上骰子作为一个宏观物体，其运动可以用一个复杂的动力学方程来精确描述。但经过诸如 “摇匀” 这种混沌过程后，方程的最终结果对初始条件极为敏感，使结果难以预测。这时我们就有充分的理由将该结果看作是随机的，并用一个变量来表示可能的结果（就像把方程中的未知数用 $x$ 表示）。我们把这样的变量称为随机变量。

　　随机变量可以是离散的也可以是连续的，例如掷骰子的点数只能取 1 到 6 的离散值，而打靶时子弹离靶心的距离就可以用一个连续的随机变量表示。一些更复杂事件的结果可能需要用到不止一个随机变量来描述，本文只讨论单个随机变量，但结论容易拓展到多个变量。

　　对于一些离散的随机变量，可能发现每个离散值得到的概率也都是恒定的。对一个公平的骰子，所有的点数得到的概率都是 $1 / 6$ ；对一个公平的硬币，掷到正反两面的概率都是 $1 / 2$ 。如果骰子或硬币是不公平的，不同结果会对应不同的概率，但这些概率也是固定的。对于连续的随机变量，得到不同值的概率可能也是固定的，然而这些值有无穷多个，应该如何描述他们对应的概率呢？

1. 连续随机变量的概率密度函数

　　我们可以用概率密度函数（probability density function，PDF）来描述一个变量取各个值的概率。假设一个连续随机变量 $x$ 可以在某个区间内取值，我们就把该区间分为 $n$ 份，第 $i$ 个子区间的长度为 $Δ x_{i}$ 然后我们做大量的实验（记为 $N$ 次），把随机变量得到的每个值分类归入这 $n$ 个子区间中，并把第 $i$ 个区间中值的个数记为 $N_{i}$ 。现在我们可以画出一种表示概率的直方图（histogram），令第 $i$ 个区间的长方形高度为 $y_{i} = N_{i} / (N Δ x_{i})$ ，则每个长方形的面积 $y_{i} Δ x_{i} = N_{i} / N$ 表示随机变量的值落在第 $i$ 个区间的概率，注意所有长方形的面积之和为 1。

　　现在，我们令区间数 $n \to \infty$ 且每个区间长度 $Δ x_{i} \to 0$ ，则离散的 $y_{i}$ 值就可以表示为函数 $y = f (x)$ 。我们可以用定积分来表示 “所有长方形的面积之和为 1”，即¹

\begin{matrix} (1) & \int_{- \infty}^{+ \infty} f (x) d x = 1 . \end{matrix}

该式叫做概率密度函数的归一化。满足归一化意味着，所有情况发生的概率总和为 1。

　　若我们要求随机变量落在区间 $[a, b]$ 内的概率，就求 $[a, b]$ 区间内概率密度函数下方的面积即可。更常见地，我们可以用微分式

\begin{matrix} (2) & d P = f (x) d x, \end{matrix}

表示

x

处长度为

d x

的区间微元对应的概率

d P

。所以

f (x)

又被称为概率密度（probability density）。

2. 平均值

　　大学物理中，随机变量 $x$ 的平均值通常被表示为 $\bar{x}$ 或者 $⟨ x ⟩$ ，我们以后都会使用。

　　对于离散的情况，某个量的平均值等于每个可能的值出现的概率乘以该值再求和，即

\begin{matrix} (3) & ⟨ x ⟩ = \sum_{i} x_{i} P_{i} . \end{matrix}

　　要求某个概率密度函数的平均值，我们同样可以将整个区间划分为 $n$ 个子区间，每个区间的概率近似为 $P_{i} = f (x_{i}) Δ x_{i}$ ，则平均值为

\begin{matrix} (4) & ⟨ x ⟩ \approx \sum_{i = 0}^{n} x_{i} P_{i} = \sum_{i = 1}^{n} x_{i} f (x_{i}) Δ x_{i} . \end{matrix}

用定积分的思想，当子区间无限多且取无限小时，上式变为

\begin{matrix} (5) & ⟨ x ⟩ = \int_{- \infty}^{+ \infty} x f (x) d x . \end{matrix}

3. 方差、标准差

　　离散情况下，若已知平均值 $⟨ x ⟩$ ，方差（variance）（每个数据点离平均值距离的平方的平均值）可定义为

\begin{matrix} (6) & σ_{x}^{2} \approx \sum_{i = 0}^{n} (x_{i} - \bar{x})^{2} P_{i} . \end{matrix}

与计算平均值的思路类似，将方差拓展到连续变量的情况得

\begin{matrix} (7) & σ_{x}^{2} = \int_{- \infty}^{+ \infty} {(x - \bar{x})}^{2} f (x) d x . \end{matrix}

容易证明

\begin{matrix} (8) & σ_{x}^{2} = ⟨ (x - ⟨ x ⟩)^{2} ⟩ = ⟨ x^{2} - 2 x ⟨ x ⟩ + {⟨ x ⟩}^{2} ⟩ = ⟨ x^{2} ⟩ - {⟨ x ⟩}^{2}, \end{matrix}

另外把

σ_{x}

称为标准差（standard deviation）。

习题 1　

　　某直流电源存在微小误差，其电压随时间的函数为

\begin{matrix} (9) & U (t) = U_{0} + ε \sin (ω t), \end{matrix}

为衡量误差大小，请计算电压的方差（用

ε

表示）。提示：由于电压变化是周期性的，可以只在一个周期内积分。

4. 任意函数的平均

　　更一般地，我们可以对离散的随机变量 $x_{i}$ 定义任意函数 $g (x)$ 的平均值为

\begin{matrix} (10) & ⟨ g ⟩ = \sum_{i = 0}^{n} g (x_{i}) P_{i}, \end{matrix}

例如在计算平均值和方差时，

g (x)

分别取

x

和

(x - \bar{x})^{2}

。

　　拓展到连续的随机变量，有

\begin{matrix} (11) & ⟨ g ⟩ = \int_{- \infty}^{+ \infty} g (x) f (x) d x . \end{matrix}

例 1　分子的平均动能

　　某气体中含有大量分子（阿伏伽德罗常数数量级： $10^{23}$ ），若假设某时刻它们的速度大小 $v$ 的概率密度函数为

\begin{matrix} (12) & f (v) = A \sin^{2} (\frac{π v}{v_{m}}) (v \in [0, v_{m}]), \end{matrix}

其中

A

为常数。请分别计算：

常数 $A$ ，使 $f (v)$ 满足归一化（式 1 ）
分子速度大小的平均值
分子速度大小方差
分子动能 $E_{k} = m v^{2} / 2$ 的平均值
分子动能的方差

　　解：

　　 1. 将 $f (v)$ 代入密度函数的归一化条件式 1

\begin{matrix} (13) & A \int_{0}^{v_{m}} \sin^{2} (\frac{π v}{v_{m}}) d v = 1 . \end{matrix}

而由

\begin{matrix} (14) & \int \sin^{2} x d x = \int \frac{(1 - \cos 2 x)}{2} d x = \frac{1}{2} x - \frac{1}{4} \sin 2 x + C, \end{matrix}

知

\begin{matrix} (15) & \begin{aligned} \int_{0}^{v_{m}} \sin^{2} (\frac{π v}{v_{m}}) d v = \frac{v_{m}}{π} \int_{0}^{v_{m}} \sin^{2} (\frac{π v}{v_{m}}) d (\frac{π v}{v_{m}}) \\ = \frac{v_{m}}{π} (\frac{1}{2} \frac{π v}{v_{m}} - \frac{1}{4} \sin \frac{2 π v}{v_{m}}) |_{0}^{v_{m}} = \frac{v_{m}}{π} (\frac{π}{2} - 0) = \frac{v_{m}}{2} . \end{aligned} \end{matrix}

式 15 代入式 13 ，得

\begin{matrix} (16) & A = \frac{2}{v_{m}} . \end{matrix}

　　 2.由式 11

\begin{matrix} (17) & \begin{aligned} ⟨ v ⟩ & = A \int_{0}^{v_{m}} v \sin^{2} (\frac{π v}{v_{m}}) d v = \frac{A}{2} \int_{0}^{v_{m}} v [1 - \cos (\frac{2 π v}{v_{m}})] d v \\ = \frac{A}{2} {\frac{v^{2}}{2} - [\sin (\frac{2 π v}{v_{m}}) \cdot \frac{v}{\frac{2 π}{v_{m}}} + \cos (\frac{2 π v}{v_{m}}) \cdot \frac{1}{{(\frac{2 π}{v_{m}})}^{2}}]} |_{0}^{v_{m}} \\ = \frac{A}{2} (\frac{v_{m}^{2}}{2} - \frac{v_{m}^{2}}{4 π^{2}} + \frac{v_{m}^{2}}{4 π^{2}}) = \frac{v_{m}}{2} . \end{aligned} \end{matrix}

　　 3. 使用式 8 有

\begin{matrix} (18) & σ_{v}^{2} = ⟨ v^{2} ⟩ - {⟨ v ⟩}^{2}, \end{matrix}

\begin{matrix} (19) & \begin{aligned} ⟨ v^{2} ⟩ & = A \int_{0}^{v_{m}} v^{2} \sin^{2} (\frac{π v}{v_{m}}) d v = \frac{A}{2} \int_{0}^{v_{m}} v^{2} [1 - \cos (\frac{2 π v}{v_{m}})] d v \\ = \frac{A}{2} {\frac{v^{3}}{3} - {\sin (\frac{2 π v}{v_{m}}) [\frac{v^{2}}{\frac{2 π}{v_{m}}} - \frac{2}{{(\frac{2 π}{v_{m}})}^{3}}] + \cos (\frac{2 π v}{v_{m}}) \cdot \frac{2 v}{{(\frac{2 π}{v_{m}})}^{2}}}} |_{0}^{v_{m}} \\ = \frac{A}{2} (\frac{v_{m}^{3}}{3} - \frac{v_{m}^{3}}{2 π^{2}} + \frac{v_{m}^{3}}{2 π^{2}}) = \frac{v_{m}^{2}}{3} . \end{aligned} \end{matrix}

式 17 和式 19 代入式 18 ，方差为

\begin{matrix} (20) & σ_{v}^{2} = \frac{v_{m}^{2}}{3} - \frac{v_{m}^{2}}{4} = \frac{v_{m}^{2}}{12} . \end{matrix}

\begin{matrix} (21) & ⟨ E_{k} ⟩ = ⟨ \frac{m v^{2}}{2} ⟩ = \frac{m}{2} ⟨ v^{2} ⟩ = \frac{m v_{m}^{2}}{6} . \end{matrix}

\begin{matrix} (22) & σ_{E_{k}} = ⟨ E_{k}^{2} ⟩ - {⟨ E_{k} ⟩}^{2} . \end{matrix}

而

\begin{matrix} (23) & ⟨ E_{k}^{2} ⟩ = \frac{m^{2}}{4} ⟨ v^{4} ⟩, \end{matrix}

\begin{matrix} (24) & \begin{aligned} ⟨ v^{4} ⟩ & = A \int_{0}^{v_{m}} v^{4} \sin^{2} (\frac{π v}{v_{m}}) d v = \frac{A}{2} \int_{0}^{v_{m}} v^{4} [1 - \cos (\frac{2 π v}{v_{m}})] d v \\ = \frac{A}{2} \cdot \frac{v^{5}}{5} |_{0}^{v_{m}} = \frac{v_{m}^{4}}{5} . \end{aligned} \end{matrix}

联立式 21 、式 22 、和式 23

\begin{matrix} (25) & \begin{aligned} σ_{E_{k}} & = \frac{m^{2} v_{m}^{4}}{20} - \frac{m^{2} v_{m}^{4}}{36} = \frac{m^{2} v_{m}^{4}}{45} . \end{aligned} \end{matrix}

例 2　彩票中奖概率分布

　　假设某种彩票从 $t = 0$ 开始每隔 $Δ t$ 开奖一次，开奖时每张彩票有 $Δ P$ 的概率中奖，每张彩票可以参加任意多次抽奖²。如果假设主办方把开奖的间隔 $Δ t$ 不断缩短，并且把 $Δ P$ 按比例缩小，即保持 $λ = Δ P / Δ t$ 不变。考虑极限 $Δ t \to 0$ ，若持有一张彩票，求第一次中奖时间概率分布 $f (t)$ 以及数学期望值。

　　先考虑离散情况，按照高中概率论中的方法画出概率树（图 1 ）

图 1：彩票中奖概率树

　　在第 $N$ 次开奖时第一次中奖的概率为（注意要保证前 $N - 1$ 次未中奖）

\begin{matrix} (26) & \begin{aligned} P (N) & = (1 - Δ P)^{N - 1} Δ P \\ = (1 - λ Δ t)^{\frac{t}{Δ t} - 1} λ Δ t \\ = [(1 - λ Δ t)^{\frac{1}{λ Δ t}}]^{λ t} \frac{λ Δ t}{1 - λ Δ t} . \end{aligned} \end{matrix}

　　接下来考虑极限 $Δ t \to 0$ ，此过程中保持 $λ$ 为常数。那么根据式 7 ，上式中方括号等于 $1 / e$ ，所以第一次中奖时间的概率密度函数等于每次中奖的概率除以开奖时间间隔³

\begin{matrix} (27) & f (t) = lim_{Δ t \to 0} \frac{P (N)}{Δ t} = λ e^{- λ t} lim_{Δ t \to 0} \frac{1}{1 - λ Δ t} = λ e^{- λ t} . \end{matrix}

图 2：第一次中奖时间概率密度函数

f (x)

，平均值为

1 / λ

。

　　可以验证 $f (x)$ 满足归一化条件

\begin{matrix} (28) & \int_{0}^{+ \infty} f (t) d t = \int_{0}^{+ \infty} λ e^{- λ t} d t = 1, \end{matrix}

进而可以计算第一次中奖时间的数学期望（平均值）为

\begin{matrix} (29) & T = \int_{0}^{+ \infty} t f (t) d t = \int_{0}^{+ \infty} t λ e^{- λ t} d t = \frac{1}{λ} . \end{matrix}

也可以计算在时间

[0, t]

内中奖的概率为

\begin{matrix} (30) & P (t) = \int_{0}^{t} f (t^{'}) d t^{'} = 1 - e^{- λ t} . \end{matrix}

表1：中奖概率

累计时间 $t$	$T / 3$	$T / 2$	$T$	$2 T$	$3 T$	$4 T$	$5 T$
概率 $P (t)$	$0.283$	$0.393$	$0.632$	$0.865$	$0.950$	$0.982$	$0.993$

1. ^ 注意积分上下限是 $x$ 取值的区间，以下为了方便表示，我们取整个实数域，可以理解为超出区间的部分概率分部函数为 0。
2. ^ 也可以假设每张彩票只能抽一次，但每次抽奖后就立即购买一张新彩票。
3. ^ 式 27 中隐含了一个假设就是 $lim [f (x) g (x)] = lim f (x) lim g (x)$ ，严格来说这是有少量例外的，但这里暂不深究。

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。

随机变量、概率密度函数

1. 连续随机变量的概率密度函数

2. 平均值

3. 方差、标准差

习题 1

4. 任意函数的平均

例 1 分子的平均动能

例 2 彩票中奖概率分布

习题 1　

例 1　分子的平均动能

例 2　彩票中奖概率分布