Fengnb

概率论

September 23, 2026 in 数学 13 minutes

介绍概率论的基础知识

第1章 随机事件与概率

1.1 样本空间和随机事件

1.1.1 随机试验

随机试验（记作 $E$）需满足三个条件：

  • 可在相同条件下重复进行
  • 每次试验的可能结果不止一个，且事先明确所有可能结果
  • 每次试验前无法确定会出现哪个结果
1.1.2 样本空间
  • 样本点（$\omega$）：随机试验的每一个最基本的可能结果
  • 样本空间（$\Omega$）：所有样本点的集合，即全部可能结果的总体

例如：掷一枚骰子，$\Omega = \{1, 2, 3, 4, 5, 6\}$

1.1.3 随机事件
  • 样本空间的子集称为随机事件（简称事件，记作 $A, B, C\ldots$）
  • 只含一个样本点的事件叫基本事件
  • $\Omega$ 称为必然事件，$\varnothing$ 称为不可能事件
1.1.4 事件的关系与运算
关系/运算 含义 集合表示
包含 $A$ 发生则 $B$ 必发生 $A \subset B$
相等 两事件包含相同的样本点 $A = B$
和（并） $A$ 或 $B$ 至少一个发生 $A \cup B$
积（交） $A$ 和 $B$ 同时发生 $A \cap B$（或 $AB$）
差 $A$ 发生但 $B$ 不发生 $A - B$
互斥（互不相容） $A$ 和 $B$ 不能同时发生 $AB = \varnothing$
对立（逆事件） $A$ 不发生 $\bar{A}$，满足 $A \cup \bar{A} = \Omega$，$A\bar{A} = \varnothing$

运算律：交换律、结合律、分配律、德摩根律 $\overline{A \cup B} = \bar{A}\bar{B}$，$\overline{AB} = \bar{A} \cup \bar{B}$

1.2 事件的概率

1.2.1 古典概率（古典概型）

适用条件：样本空间有限，且每个样本点等可能出现。

$$P(A) = \frac{A \text{ 包含的样本点数}}{\Omega \text{ 中的样本点总数}}$$
1.2.2 几何概率（几何概型）

适用条件：样本空间为无限的几何区域，每个点等可能。

$$P(A) = \frac{A \text{ 的几何度量（长度/面积/体积）}}{\Omega \text{ 的几何度量}}$$
1.2.3 频率

在 $n$ 次重复试验中，事件 $A$ 发生 $n_A$ 次，则频率为：

$$f_n(A) = \frac{n_A}{n}$$

频率具有稳定性：当 $n$ 很大时，频率趋近于某个常数，这个常数就是概率。

1.2.4 概率的公理化定义（柯尔莫哥洛夫，1933）

设 $P$ 是定义在事件域上的实值函数，满足三条公理：

  1. 非负性：$P(A) \geq 0$
  2. 规范性：$P(\Omega) = 1$
  3. 可列可加性：若 $A_1, A_2, \ldots$ 两两互斥，则 $P\!\left(\bigcup A_i\right) = \sum P(A_i)$
1.2.5 概率的重要性质
  • $P(\varnothing) = 0$
  • 有限可加性：两两互斥事件的并的概率等于各概率之和
  • 对立事件：$P(\bar{A}) = 1 - P(A)$
  • 单调性：若 $A \subset B$，则 $P(A) \leq P(B)$
  • 加法公式：$P(A \cup B) = P(A) + P(B) - P(AB)$
  • 推广：$P(A \cup B \cup C) = P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

1.3 条件概率与乘法定理

1.3.1 条件概率

在事件 $B$ 已发生的条件下，事件 $A$ 发生的概率：

$$P(A|B) = \frac{P(AB)}{P(B)}, \quad P(B) > 0$$

条件概率满足概率的所有性质（非负性、规范性、可加性等）。

1.3.2 乘法定理

由条件概率直接推出：

$$P(AB) = P(A|B) \cdot P(B) = P(B|A) \cdot P(A)$$

推广到 $n$ 个事件：

$$P(A_1A_2\cdots A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\cdots P(A_n|A_1\cdots A_{n-1})$$

1.4 独立性

1.4.1 两个事件的独立性

若满足：

$$P(AB) = P(A) \cdot P(B)$$

则称 $A$ 与 $B$ 相互独立。直观含义是：一个事件的发生不影响另一个事件发生的概率。

等价条件：当 $P(B) > 0$ 时，$A$ 与 $B$ 独立 $\iff P(A|B) = P(A)$

重要结论：若 $A$ 与 $B$ 独立，则 $A$ 与 $\bar{B}$、$\bar{A}$ 与 $B$、$\bar{A}$ 与 $\bar{B}$ 也独立。

1.4.2 多个事件的独立性
  • 两两独立：任意两个事件之间都独立
  • 相互独立（更强）：任意子集的积事件概率等于各事件概率之积

⚠️ 两两独立 $\neq$ 相互独立，相互独立要求对所有组合都成立。

1.5 全概率公式和贝叶斯公式

1.5.1 全概率公式

若 $B_1, B_2, \ldots, B_n$ 构成 $\Omega$ 的一个划分（两两互斥且并集为 $\Omega$），且 $P(B_i) > 0$，则对任意事件 $A$：

$$P(A) = \sum_{i=1}^{n} P(B_i) \cdot P(A|B_i)$$

思想：将复杂事件 $A$ 按"原因" $B_i$ 分解，分别计算再求和。

1.5.2 贝叶斯公式（逆概率公式）

在相同条件下：

$$P(B_k|A) = \frac{P(B_k) \cdot P(A|B_k)}{\displaystyle \sum_{i=1}^{n} P(B_i) \cdot P(A|B_i)}$$

思想：已知结果 $A$ 已发生，反过来推断是由哪个"原因" $B_k$ 导致的概率。

  • $P(B_k)$ 称为先验概率
  • $P(B_k|A)$ 称为后验概率

第2章 随机变量及其分布

本章是概率论的核心章节，将第1章中的"事件"用数值化的方式表达，引入随机变量的概念，并研究其分布规律。

2.1 随机变量

随机变量（Random Variable，记作 $X, Y, Z\ldots$）是定义在样本空间 $\Omega$ 上的实值函数，它将每个样本点 $\omega$ 映射为一个实数 $X(\omega)$。

意义：用数值来描述随机试验的结果，使我们可以用数学分析的工具来研究随机现象。

分类：

  • 离散型：可能取值为有限个或可列无穷个
  • 连续型：可能取值充满某个区间（不可列）
  • 其他型（如混合型，一般不作深入讨论）

2.2 离散型随机变量及其分布律

2.2.1 离散型随机变量

分布律（概率分布）：设离散型随机变量 $X$ 的所有可能取值为 $x_1, x_2, \ldots$，则

$$P(X = x_k) = p_k, \quad k = 1, 2, \ldots$$

称为 $X$ 的分布律。

性质：

  1. $p_k \geq 0$
  2. $\sum_{k} p_k = 1$

表示方式：

$X$ $x_1$ $x_2$ $\cdots$ $x_k$ $\cdots$
$P$ $p_1$ $p_2$ $\cdots$ $p_k$ $\cdots$
2.2.2 几种重要的离散型随机变量
① 0-1分布（两点分布）

$X$ 只取 0 和 1 两个值：

$$P(X=1)=p, \quad P(X=0)=1-p=q \quad (0 用于描述一次伯努利试验的成功/失败。

② 二项分布 $X \sim B(n, p)$

$n$ 重伯努利试验中成功的次数：

$$P(X=k) = C_n^k \, p^k q^{n-k}, \quad k = 0, 1, \ldots, n$$
  • 参数：$n$（试验次数）、$p$（每次成功概率）
  • 期望：$E(X) = np$，方差：$D(X) = npq$
③ 泊松分布 $X \sim P(\lambda)$
$$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots \quad (\lambda > 0)$$
  • 参数：$\lambda$（单位时间/空间内事件发生的平均次数）
  • 期望 = 方差 = $\lambda$
  • 泊松定理：当 $n$ 很大、$p$ 很小、$np = \lambda$ 适中时，二项分布可用泊松分布近似
④ 几何分布 $X \sim G(p)$

首次成功所需的试验次数：

$$P(X=k) = q^{k-1}p, \quad k = 1, 2, \ldots$$
  • 期望：$E(X) = \frac{1}{p}$
⑤ 超几何分布

从 $N$ 件产品（其中 $M$ 件次品）中不放回地抽取 $n$ 件，抽到次品数 $X$：

$$P(X=k) = \frac{C_M^k \cdot C_{N-M}^{n-k}}{C_N^n}$$

2.3 随机变量的分布函数

定义：对任意实数 $x$，定义

$$F(x) = P(X \leq x), \quad -\infty < x < +\infty$$

称为随机变量 $X$ 的分布函数（累积分布函数，CDF）。

基本性质
  1. 单调不减：$x_1 < x_2 \Rightarrow F(x_1) \leq F(x_2)$
  2. 有界性：$0 \leq F(x) \leq 1$，且 $\lim\limits_{x\to -\infty}F(x)=0$，$\lim\limits_{x\to +\infty}F(x)=1$
  3. 右连续：$F(x+0) = F(x)$
用分布函数表示概率
$$P(x_1 < X \leq x_2) = F(x_2) - F(x_1)$$
离散型随机变量的分布函数
$$F(x) = \sum_{x_k \leq x} P(X = x_k)$$

分布函数是一个阶梯函数，在 $x_k$ 处跳跃，跳跃高度为 $p_k$。

2.4 连续型随机变量及其分布

2.4.1 连续型随机变量及其密度函数

定义：若存在非负可积函数 $f(x)$，使得对任意实数 $x$：

$$F(x) = \int_{-\infty}^{x} f(t)\, dt$$

则称 $X$ 为连续型随机变量，$f(x)$ 称为 $X$ 的概率密度函数（PDF）。

性质：

  1. $f(x) \geq 0$
  2. $\int_{-\infty}^{+\infty} f(x)\, dx = 1$
  3. $P(x_1 < X \leq x_2) = \int_{x_1}^{x_2} f(x)\, dx$
  4. 若 $f(x)$ 在 $x$ 处连续，则 $F'(x) = f(x)$
  5. 对任意实数 $a$，$P(X = a) = 0$（连续型随机变量取任一具体值的概率为0）

⚠️ 注意：$f(x)$ 不是概率，它可以大于1。概率是密度函数下的面积。

2.4.2 几种重要的连续型随机变量
① 均匀分布 $X \sim U(a, b)$
$$f(x) = \begin{cases} \dfrac{1}{b-a}, & a < x < b \$$

6pt] 0, & \text{其他} \end{cases}$$

$$F(x) = \begin{cases} 0, & x \leq a \$$

4pt] \dfrac{x-a}{b-a}, & a < x < b $$4pt] 1, & x \geq b \end{cases}$$

  • 期望：$E(X) = \dfrac{a+b}{2}$
  • 方差：$D(X) = \dfrac{(b-a)^2}{12}$
② 指数分布 $X \sim \text{Exp}(\lambda)$
$$f(x) = \begin{cases} \lambda e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases} \quad (\lambda > 0)$$$$F(x) = \begin{cases} 1 - e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases}$$
  • 期望：$E(X) = \dfrac{1}{\lambda}$
  • 方差：$D(X) = \dfrac{1}{\lambda^2}$
  • 无记忆性：$P(X > s+t \mid X > s) = P(X > t)$
③ 正态分布（高斯分布）$X \sim N(\mu, \sigma^2)$
$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), \quad -\infty < x < +\infty$$
  • 参数：$\mu$（位置参数，决定对称轴），$\sigma^2$（尺度参数，决定分散程度）
  • 期望：$E(X) = \mu$，方差：$D(X) = \sigma^2$
  • 图像关于 $x = \mu$ 对称，呈钟形曲线

标准正态分布 $Z \sim N(0, 1)$：

$$\varphi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}, \quad \Phi(z) = \int_{-\infty}^{z}\varphi(t)\,dt$$

标准化：若 $X \sim N(\mu, \sigma^2)$，则 $Z = \dfrac{X-\mu}{\sigma} \sim N(0, 1)$

2.5 一维随机变量函数的分布

已知 $X$ 的分布，求 $Y = g(X)$ 的分布。

2.5.1 离散型随机变量函数的分布

方法：

  1. 将 $X$ 的每个取值 $x_k$ 代入 $Y = g(X)$，得到 $y_k = g(x_k)$
  2. 若 $y_k$ 有重复，则将对应概率合并
  3. 列出 $Y$ 的分布律
2.5.2 连续型随机变量函数的分布

方法一：分布函数法（通用方法）

  1. 先求 $Y$ 的分布函数：$F_Y(y) = P(Y \leq y) = P(g(X) \leq y)$
  2. 将事件 $\{g(X) \leq y\}$ 转化为 $X$ 的范围
  3. 对 $F_Y(y)$ 求导得密度函数：$f_Y(y) = F_Y'(y)$

方法二：公式法（要求 $g(x)$ 严格单调可导）

若 $y = g(x)$ 严格单调，反函数为 $x = h(y)$，则：

$$f_Y(y) = f_X(h(y)) \cdot |h'(y)|, \quad y \in \text{值域}$$

常见特例：

  • 线性变换 $Y = aX + b$（$a \neq 0$）：

    $$f_Y(y) = \frac{1}{|a|} f_X\!\left(\frac{y-b}{a}\right)$$

    特别地，正态变量的线性变换仍为正态。

  • 平方变换 $Y = X^2$：

    $$f_Y(y) = \begin{cases} \dfrac{1}{2\sqrt{y}}\left[f_X(\sqrt{y}) + f_X(-\sqrt{y})\right], & y > 0 \\ 0, & y \leq 0 \end{cases}$$

第3章 多维随机变量及其分布

本章将第2章的一维随机变量推广到多维（以二维为主），研究多个随机变量的联合行为以及它们之间的关系。

3.1 二维随机变量及其联合分布

3.1.1 二维随机变量的联合分布函数

定义：设 $(X, Y)$ 是二维随机变量，对任意实数 $x, y$，称

$$F(x, y) = P(X \leq x, \, Y \leq y)$$

为 $(X, Y)$ 的联合分布函数。

几何意义：表示随机点 $(X, Y)$ 落在以 $(x, y)$ 为右上顶点的左下无穷矩形区域内的概率。

基本性质：

性质 内容
单调性 对每个变量单调不减
有界性 $0 \leq F(x,y) \leq 1$
极限 $F(-\infty, y) = F(x, -\infty) = 0$，$F(+\infty, +\infty) = 1$
右连续 对每个变量右连续
非负性 对任意 $x_1 ⚠️ **注意**：$f(x,y)$ 不是概率，而是"概率密度"，可以大于1。
3.1.4 重要的二维随机变量及其分布
① 二维均匀分布

若 $(X, Y)$ 在平面有界区域 $D$ 上服从均匀分布，则：

$$f(x, y) = \begin{cases} \dfrac{1}{S_D}, & (x,y) \in D \\ 0, & \text{其他} \end{cases}$$

其中 $S_D$ 是区域 $D$ 的面积。

② 二维正态分布 $(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$
$$f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\!\left\{-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right\}$$

五个参数：

  • $\mu_1, \mu_2$：$X, Y$ 的均值
  • $\sigma_1^2, \sigma_2^2$：$X, Y$ 的方差
  • $\rho$：相关系数（$-1 < \rho < 1$），描述线性相关程度

重要结论：

  • $X \sim N(\mu_1, \sigma_1^2)$，$Y \sim N(\mu_2, \sigma_2^2)$（边缘分布仍为正态）
  • $\rho = 0 \iff X$ 与 $Y$ 独立（正态分布中，不相关 $\iff$ 独立）

3.2 边缘分布

边缘分布描述的是：在联合分布中只关注其中一个变量的分布，相当于把另一个变量"边缘化"（积掉或求和掉）。

3.2.1 边缘分布函数

由联合分布函数 $F(x, y)$ 可得：

$$F_X(x) = P(X \leq x) = F(x, +\infty) = \lim_{y\to+\infty}F(x, y)$$$$F_Y(y) = P(Y \leq y) = F(+\infty, y) = \lim_{x\to+\infty}F(x, y)$$
3.2.2 二维离散型随机变量的边缘分布律

由联合分布律 $p_{ij} = P(X = x_i, Y = y_j)$：

$$P(X = x_i) = p_{i\cdot} = \sum_{j} p_{ij} \quad \text{（对第 } i \text{ 行求和）}$$$$P(Y = y_j) = p_{\cdot j} = \sum_{i} p_{ij} \quad \text{（对第 } j \text{ 列求和）}$$

表格中最后一行/最后一列即为边缘分布律，"·" 表示被求和消去的指标。

3.2.3 二维连续型随机变量的边缘密度函数

由联合密度 $f(x, y)$：

$$f_X(x) = \int_{-\infty}^{+\infty} f(x, y)\, dy$$$$f_Y(y) = \int_{-\infty}^{+\infty} f(x, y)\, dx$$

对谁求边缘密度，就对另一个变量在全实轴上积分。

3.3 随机变量的独立性

定义：若对任意 $x, y$，都有

$$F(x, y) = F_X(x) \cdot F_Y(y)$$

则称 $X$ 与 $Y$ 相互独立。

离散型独立的等价条件
$$p_{ij} = p_{i\cdot} \cdot p_{\cdot j}, \quad \forall i, j$$
连续型独立的等价条件
$$f(x, y) = f_X(x) \cdot f_Y(y), \quad \text{几乎处处成立}$$
重要性质
性质 说明
函数保持独立 若 $X, Y$ 独立，则 $g(X)$ 与 $h(Y)$ 也独立
独立 $\Rightarrow$ 不相关 但反之不成立（正态分布除外）
多个变量独立 两两独立 $\neq$ 相互独立，要求对所有子集成立

3.4 条件分布

条件分布回答的问题是：已知一个变量取某个值时，另一个变量的分布是什么？

3.4.1 二维离散型随机变量的条件分布

在 $Y = y_j$ 条件下 $X$ 的条件分布律（要求 $P(Y=y_j) > 0$）：

$$P(X = x_i \mid Y = y_j) = \frac{P(X = x_i, Y = y_j)}{P(Y = y_j)} = \frac{p_{ij}}{p_{\cdot j}}, \quad i = 1, 2, \ldots$$

在 $X = x_i$ 条件下 $Y$ 的条件分布律：

$$P(Y = y_j \mid X = x_i) = \frac{p_{ij}}{p_{i\cdot}}, \quad j = 1, 2, \ldots$$

条件分布律满足概率的所有性质：非负、和为1。

3.4.2 二维连续型随机变量的条件分布

连续型随机变量取单点值的概率为0，不能直接用离散型的定义，需通过极限来定义：

在 $Y = y$ 条件下 $X$ 的条件密度函数（要求 $f_Y(y) > 0$）：

$$f_{X|Y}(x \mid y) = \frac{f(x, y)}{f_Y(y)}$$

在 $X = x$ 条件下 $Y$ 的条件密度函数：

$$f_{Y|X}(y \mid x) = \frac{f(x, y)}{f_X(x)}$$

理解：条件密度 = 联合密度 ÷ 边缘密度，体现了"固定一个变量后，另一个变量的相对分布形状"。

独立性与条件分布的关系

$X$ 与 $Y$ 独立 $\iff f_{X|Y}(x|y) = f_X(x)$（条件分布 = 无条件分布，即已知 $Y$ 的值对 $X$ 的分布没有影响）。

3.5 二维随机变量函数的分布

已知 $(X, Y)$ 的联合分布，求 $Z = g(X, Y)$ 的分布。

3.5.1 二维离散型随机变量函数的分布

方法：

  1. 列出 $(X, Y)$ 所有可能的取值对 $(x_i, y_j)$
  2. 计算对应的 $z_k = g(x_i, y_j)$
  3. 将相同 $z_k$ 对应的概率合并
3.5.2 二维连续型随机变量函数的分布
方法一：分布函数法（通用）
$$F_Z(z) = P(Z \leq z) = P(g(X, Y) \leq z) = \iint_{g(x,y)\leq z} f(x, y)\,dx\,dy$$

再求导：$f_Z(z) = F_Z'(z)$

方法二：卷积公式（重要特例）

$Z = X + Y$：

若 $X, Y$ 独立，则 $Z$ 的密度为：

$$f_Z(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x)\, dx = \int_{-\infty}^{+\infty} f_X(z-y) f_Y(y)\, dy$$

这称为两个密度函数的卷积，记作 $f_Z = f_X * f_Y$。

重要结论：

分布类型 卷积结果
正态 + 正态（独立） 仍为正态：$N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$
泊松 + 泊松（独立） 仍为泊松：$P(\lambda_1+\lambda_2)$
二项 + 二项（$p$ 相同，独立） 仍为二项：$B(n_1+n_2, p)$
指数 + 指数（$\lambda$ 相同） 伽马分布 $\Gamma(2, \lambda)$
方法三：最大值与最小值的分布

设 $X, Y$ 独立，分布函数分别为 $F_X, F_Y$：

  • 最大值 $M = \max(X, Y)$：
$$F_M(z) = F_X(z) \cdot F_Y(z)$$
  • 最小值 $N = \min(X, Y)$：
$$F_N(z) = 1 - [1-F_X(z)][1-F_Y(z)]$$

推广到 $n$ 个独立变量：

$$F_{\max}(z) = \prod_{i=1}^{n} F_{X_i}(z), \quad F_{\min}(z) = 1 - \prod_{i=1}^{n}[1-F_{X_i}(z)]$$
常见函数变换汇总
$Z = g(X,Y)$ 方法要点
$X+Y$ 卷积公式
$XY$ 分布函数法，或公式 $f_Z(z)=\int f(x,z/x)\frac{1}{
$X/Y$ 公式 $f_Z(z)=\int
$\max/\min$ 利用独立性直接写分布函数
$X^2+Y^2$ 极坐标变换（当 $(X,Y)$ 为标准正态时得到 $\chi^2$ 分布）

第4章 随机变量的数字特征

本章的核心任务是：用少数几个数值来刻画随机变量（或其分布）的关键特征，而无需完整给出分布函数或密度函数。

4.1 数学期望

数学期望（Expected Value）描述随机变量取值的平均水平（加权平均），是最基本的数字特征。

4.1.1 离散型随机变量的数学期望

定义：设离散型随机变量 $X$ 的分布律为 $P(X = x_k) = p_k$（$k = 1, 2, \ldots$），若级数 $\sum_k x_k p_k$ 绝对收敛，则定义：

$$E(X) = \sum_{k} x_k p_k$$

⚠️ 要求绝对收敛，否则数学期望不存在（例如某些柯西型分布）。

常见离散分布的期望：

分布 $E(X)$
0-1分布 $B(1,p)$ $p$
二项分布 $B(n, p)$ $np$
泊松分布 $P(\lambda)$ $\lambda$
几何分布 $G(p)$ $\dfrac{1}{p}$
超几何分布 $H(N, M, n)$ $\dfrac{nM}{N}$
4.1.2 连续型随机变量的数学期望

定义：设连续型随机变量 $X$ 的密度函数为 $f(x)$，若积分 $\int_{-\infty}^{+\infty} x f(x)\,dx$ 绝对收敛，则定义：

$$E(X) = \int_{-\infty}^{+\infty} x f(x)\, dx$$

常见连续分布的期望：

分布 $E(X)$
均匀分布 $U(a, b)$ $\dfrac{a+b}{2}$
指数分布 $\text{Exp}(\lambda)$ $\dfrac{1}{\lambda}$
正态分布 $N(\mu, \sigma^2)$ $\mu$
4.1.3 随机变量函数的数学期望

意义：已知 $X$ 的分布，求 $Y = g(X)$ 的期望，无需先求 $Y$ 的分布，可直接由 $X$ 的分布计算。

一维情形（随机变量定理 / LOTUS）

  • 离散型：

    $$E[g(X)] = \sum_{k} g(x_k) p_k$$

  • 连续型：

    $$E[g(X)] = \int_{-\infty}^{+\infty} g(x) f(x)\, dx$$
二维情形

  • 离散型：

    $$E[g(X, Y)] = \sum_{i}\sum_{j} g(x_i, y_j) \, p_{ij}$$

  • 连续型：

    $$E[g(X, Y)] = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x, y) f(x, y)\, dx\, dy$$

重要提示：该定理极大简化了计算，是后续推导方差、协方差等的基础工具。

4.1.4 数学期望的性质
性质 公式 说明
常数的期望 $E(c) = c$ 常数的"平均值"就是它本身
线性性（齐次性） $E(cX) = cE(X)$ 常数因子可提出
线性性（可加性） $E(X+Y) = E(X) + E(Y)$ 不要求独立
独立性乘积 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$ 注意：逆命题不成立

推广（线性性的直接推论）：

$$E\!\left(\sum_{i=1}^{n} c_i X_i\right) = \sum_{i=1}^{n} c_i E(X_i)$$

无论 $X_1, \ldots, X_n$ 是否独立，上式均成立。

4.2 方差

方差（Variance）描述随机变量取值相对于其期望的偏离程度（波动大小）。

4.2.1 方差的概念

定义：设 $X$ 是随机变量，若 $E\big[(X-E(X))^2\big]$ 存在，则称其为 $X$ 的方差：

$$D(X) = \text{Var}(X) = E\!\left[\big(X - E(X)\big)^2\right]$$

标准差（均方差）：$\sigma_X = \sqrt{D(X)}$

计算公式（常用）：

$$\boxed{D(X) = E(X^2) - [E(X)]^2}$$

推导：$E[(X-\mu)^2] = E(X^2 - 2\mu X + \mu^2) = E(X^2) - 2\mu E(X) + \mu^2 = E(X^2) - \mu^2$

常见分布的方差：

分布 $D(X)$
0-1分布 $B(1,p)$ $pq$（$q=1-p$）
二项分布 $B(n, p)$ $npq$
泊松分布 $P(\lambda)$ $\lambda$
均匀分布 $U(a, b)$ $\dfrac{(b-a)^2}{12}$
指数分布 $\text{Exp}(\lambda)$ $\dfrac{1}{\lambda^2}$
正态分布 $N(\mu, \sigma^2)$ $\sigma^2$
4.2.2 方差的性质
性质 公式 说明
常数的方差 $D(c) = 0$ 常数无波动
常数倍 $D(cX) = c^2 D(X)$ 注意是 平方
加减常数 $D(X + c) = D(X)$ 平移不改变波动
独立变量的和 若 $X, Y$ 独立，则 $D(X+Y) = D(X)+D(Y)$ 要求独立
独立变量的差 若 $X, Y$ 独立，则 $D(X-Y) = D(X)+D(Y)$ 注意不是相减！

推广（$X_1, \ldots, X_n$ 相互独立）：

$$D\!\left(\sum_{i=1}^{n} c_i X_i\right) = \sum_{i=1}^{n} c_i^2 D(X_i)$$

线性变换：$D(aX + b) = a^2 D(X)$

4.3 协方差和相关系数

方差只能描述单个随机变量的波动，协方差和相关系数则用来描述两个随机变量之间的关系。

4.3.1 协方差的定义

定义：

$$\text{Cov}(X, Y) = E\!\left[\big(X-E(X)\big)\big(Y-E(Y)\big)\right]$$

计算公式：

$$\boxed{\text{Cov}(X, Y) = E(XY) - E(X)E(Y)}$$

直观理解：

  • $\text{Cov}(X,Y) > 0$：$X$ 与 $Y$ 倾向于同方向偏离各自的均值
  • $\text{Cov}(X,Y) < 0$：$X$ 与 $Y$ 倾向于反方向偏离
  • $\text{Cov}(X,Y) = 0$：称 $X$ 与 $Y$ 不相关

与方差的关系：

$$D(X+Y) = D(X) + D(Y) + 2\text{Cov}(X,Y)$$$$D(X-Y) = D(X) + D(Y) - 2\text{Cov}(X,Y)$$

当 $X, Y$ 独立时，$\text{Cov}(X,Y) = 0$，上式退化为方差性质中的公式。

4.3.2 协方差的性质
性质 公式
对称性 $\text{Cov}(X,Y) = \text{Cov}(Y,X)$
与自身的协方差 $\text{Cov}(X,X) = D(X)$
线性性（第一变量） $\text{Cov}(aX+b, Y) = a\,\text{Cov}(X,Y)$
双线性 $\text{Cov}(aX+b,\, cY+d) = ac\,\text{Cov}(X,Y)$
可加性 $\text{Cov}(X_1+X_2, Y) = \text{Cov}(X_1,Y)+\text{Cov}(X_2,Y)$
独立 $\Rightarrow$ 不相关 若 $X, Y$ 独立，则 $\text{Cov}(X,Y) = 0$

⚠️ 逆命题不成立：不相关 $\neq$ 独立。不相关只说明没有线性关系，但可能有非线性关系。（正态分布是例外，对正态分布而言不相关 $\iff$ 独立。）

4.3.3 相关系数

协方差的大小受量纲影响，不便比较，因此引入相关系数（标准化后的协方差）：

定义：

$$\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

（要求 $D(X) > 0$ 且 $D(Y) > 0$）

重要性质

性质1：有界性

$$|\rho_{XY}| \leq 1$$

性质2：线性关系的刻画

  • $\rho_{XY} = 1$ $\iff$ 存在 $a > 0, b$ 使得 $P(Y = aX+b) = 1$（完全正线性相关）
  • $\rho_{XY} = -1$ $\iff$ 存在 $a < 0, b$ 使得 $P(Y = aX+b) = 1$（完全负线性相关）
  • $|\rho_{XY}|$ 越接近 1，线性相关程度越强
  • $|\rho_{XY}|$ 越接近 0，线性相关程度越弱
不相关的等价条件

以下条件等价：

  1. $\rho_{XY} = 0$
  2. $\text{Cov}(X, Y) = 0$
  3. $E(XY) = E(X)E(Y)$
  4. $D(X+Y) = D(X) + D(Y)$
4.3.4 矩

矩（Moment）是比期望和方差更一般的数字特征。

名称 定义 特例
$k$ 阶原点矩 $\mu_k' = E(X^k)$ $\mu_1' = E(X)$（即期望）
$k$ 阶中心矩 $\mu_k = E[(X-E(X))^k]$ $\mu_2 = D(X)$（即方差）
$k+l$ 阶混合原点矩 $E(X^k Y^l)$ $E(XY)$ 为混合一阶矩
$k+l$ 阶混合中心矩 $E[(X-\mu_X)^k(Y-\mu_Y)^l]$ $\text{Cov}(X,Y)$ 为二阶混合中心矩

*4.4 多维随机变量的数字特征

4.4.1 多维随机变量的期望和协方差矩阵
期望向量

对 $n$ 维随机变量 $(X_1, X_2, \ldots, X_n)$，定义其期望向量：

$$\boldsymbol{\mu} = \begin{pmatrix} E(X_1) \\ E(X_2) \\ \vdots \\ E(X_n) \end{pmatrix}$$
协方差矩阵

定义 协方差矩阵 $\mathbf{\Sigma}$ 为 $n \times n$ 矩阵，其第 $(i, j)$ 元素为：

$$\sigma_{ij} = \text{Cov}(X_i, X_j)$$

即：

$$\mathbf{\Sigma} = \begin{pmatrix} D(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\ \text{Cov}(X_2,X_1) & D(X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & D(X_n) \end{pmatrix}$$

性质：

  • 对称矩阵：$\mathbf{\Sigma}^\top = \mathbf{\Sigma}$
  • 非负定（半正定）：对任意实向量 $\mathbf{a}$，有 $\mathbf{a}^\top\mathbf{\Sigma}\mathbf{a} \geq 0$
  • 对角线元素为各变量的方差
4.4.2 多维正态随机变量
二元正态分布

$(X, Y)$ 服从二元正态分布，记作 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$，其密度函数见第3章。

关键性质：

  1. 边缘分布：$X \sim N(\mu_1, \sigma_1^2)$，$Y \sim N(\mu_2, \sigma_2^2)$

  2. 独立 $\iff$ 不相关：对二元正态分布，以下等价：

    • $X$ 与 $Y$ 独立
    • $\rho = 0$
    • $\text{Cov}(X,Y) = 0$

  3. 线性组合仍为正态：若 $(X,Y)$ 为二元正态，则对任意不全为0的常数 $a, b$：

    $$aX + bY \sim N\!\left(a\mu_1+b\mu_2,\; a^2\sigma_1^2+b^2\sigma_2^2+2ab\rho\sigma_1\sigma_2\right)$$
$n$ 维正态分布

$(X_1, \ldots, X_n) \sim N(\boldsymbol{\mu}, \mathbf{\Sigma})$，密度函数为：

$$f(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}|\mathbf{\Sigma}|^{1/2}}\exp\!\left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}$$

核心性质：

性质 说明
边缘分布 任意子集仍服从多维正态分布
独立性 分量两两不相关 $\iff$ 分量相互独立
线性变换 若 $\mathbf{X} \sim N(\boldsymbol{\mu}, \mathbf{\Sigma})$，则 $\mathbf{A}\mathbf{X}+\mathbf{b} \sim N(\mathbf{A}\boldsymbol{\mu}+\mathbf{b},\; \mathbf{A}\mathbf{\Sigma}\mathbf{A}^\top)$
本章核心公式速查
特征量 离散型 连续型
期望 $\sum x_k p_k$ $\int x f(x)\,dx$
方差 $\sum (x_k-\mu)^2 p_k$ $\int (x-\mu)^2 f(x)\,dx$
函数期望 $\sum g(x_k)p_k$ $\int g(x)f(x)\,dx$
协方差 $E(XY)-E(X)E(Y)$ 同左
相关系数 $\rho = \dfrac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$ 同左

第5章 大数定律和中心极限定理

本章是概率论的理论核心，研究大量随机现象的平均结果所呈现的规律性。大数定律回答"频率为何趋近于概率"，中心极限定理回答"大量独立随机变量之和为何近似正态分布"。

5.1 大数定律

大数定律是一类定理的总称，描述的是：在大量重复试验中，随机事件的频率趋于稳定（即概率），随机变量的算术平均趋于数学期望。

5.1.1 切比雪夫（Chebyshev）不等式

切比雪夫不等式是大数定律的基石，它给出了随机变量偏离其期望的概率的一个上界估计。

基本形式

设随机变量 $X$ 的期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$ 存在，则对任意 $\varepsilon > 0$：

$$\boxed{P\!\left(|X - \mu| \geq \varepsilon\right) \leq \frac{\sigma^2}{\varepsilon^2}}$$

等价形式：

$$P\!\left(|X - \mu| < \varepsilon\right) \geq 1 - \frac{\sigma^2}{\varepsilon^2}$$
直观含义
  • 方差 $\sigma^2$ 越小，随机变量集中在期望附近的概率越大
  • 偏离期望越远（$\varepsilon$ 越大），概率越小
  • 这是一个保守的估计（上界），实际概率通常远小于此
推广形式（马尔可夫不等式）

设 $X$ 为非负随机变量，对任意 $a > 0$：

$$P(X \geq a) \leq \frac{E(X)}{a}$$

切比雪夫不等式可由马尔可夫不等式推导：令 $X = (Y - \mu)^2 \geq 0$，取 $a = \varepsilon^2$。

多维推广

若 $(X, Y)$ 的期望和方差存在，则：

$$P\!\left(|X-\mu_X| \geq \varepsilon_1 \text{ 或 } |Y-\mu_Y| \geq \varepsilon_2\right) \leq \frac{D(X)}{\varepsilon_1^2} + \frac{D(Y)}{\varepsilon_2^2}$$
5.1.2 依概率收敛

在引入大数定律之前，需要明确一种特殊的收敛方式——依概率收敛（Convergence in Probability）。

定义

设 $\{X_n\}$ 是一个随机变量序列，$a$ 是一个常数。若对任意 $\varepsilon > 0$：

$$\lim_{n\to\infty} P\!\left(|X_n - a| \geq \varepsilon\right) = 0$$

或等价地：

$$\lim_{n\to\infty} P\!\left(|X_n - a| < \varepsilon\right) = 1$$

则称 $X_n$ 依概率收敛于 $a$，记作：

$$X_n \xrightarrow{P} a \quad \text{或} \quad \text{plim}_{n\to\infty} X_n = a$$
与高等数学中"普通收敛"的区别
对比 普通收敛（数列） 依概率收敛（随机变量序列）
对象 确定的数列 $a_n$ 随机变量序列 $X_n$
含义 当 $n$ 充分大时，$a_n$ 必定接近 $a$ 当 $n$ 充分大时，$X_n$ 以很大的概率接近 $a$
严格性 更强 更弱

⚠️ 依概率收敛 $\not\Rightarrow$ 几乎处处收敛；几乎处处收敛 $\Rightarrow$ 依概率收敛。

依概率收敛的性质

若 $X_n \xrightarrow{P} a$，$Y_n \xrightarrow{P} b$，则：

  • $X_n \pm Y_n \xrightarrow{P} a \pm b$
  • $X_n \cdot Y_n \xrightarrow{P} ab$
  • $\dfrac{X_n}{Y_n} \xrightarrow{P} \dfrac{a}{b}$（当 $b \neq 0$）
  • 若 $g$ 连续，则 $g(X_n) \xrightarrow{P} g(a)$
5.1.3 大数定律

大数定律有多种形式，由弱到强依次介绍。

① 切比雪夫大数定律

条件：设 $\{X_n\}$ 是相互独立的随机变量序列，每个 $X_i$ 的期望和方差都存在，且方差一致有界，即存在常数 $C$ 使得 $D(X_i) \leq C$（对所有 $i$）。

结论：

$$\frac{1}{n}\sum_{i=1}^{n} X_i - \frac{1}{n}\sum_{i=1}^{n} E(X_i) \xrightarrow{P} 0$$

即算术平均与其期望的算术平均之差依概率趋于0。

证明思路：令 $\bar{X}_n = \frac{1}{n}\sum X_i$，则 $E(\bar{X}_n) = \frac{1}{n}\sum E(X_i)$，$D(\bar{X}_n) = \frac{1}{n^2}\sum D(X_i) \leq \frac{C}{n}$。对 $\bar{X}_n$ 使用切比雪夫不等式，令 $n \to \infty$ 即可。

② 伯努利（Bernoulli）大数定律

条件：在 $n$ 重伯努利试验中，事件 $A$ 发生的概率为 $p$，$n_A$ 为 $A$ 发生的次数。

结论：

$$\frac{n_A}{n} \xrightarrow{P} p$$

即频率依概率收敛于概率。

证明：将 $n_A$ 写成 $n$ 个独立的 0-1 分布随机变量之和，即 $n_A = X_1 + X_2 + \cdots + X_n$，其中 $X_i \sim B(1, p)$。则 $E(n_A/n) = p$，$D(n_A/n) = p(1-p)/n \to 0$，由切比雪夫大数定律即得。

意义：这是概率的频率定义的理论依据——当试验次数很大时，频率稳定在概率附近。

③ 辛钦（Khinchin）大数定律

条件：设 $\{X_n\}$ 是独立同分布（i.i.d.）的随机变量序列，且 $E(X_i) = \mu$（期望存在即可，不要求方差存在）。

结论：

$$\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu$$

意义：这是最常用的大数定律形式。条件比切比雪夫大数定律更弱（不要求方差存在），但要求同分布。

④ 强大数定律（柯尔莫哥洛夫）

条件：设 $\{X_n\}$ 独立同分布，$E|X_i| < \infty$。

结论：

$$P\!\left(\lim_{n\to\infty} \bar{X}_n = \mu\right) = 1$$

即算术平均几乎处处收敛于期望（比依概率收敛更强）。

三种大数定律的对比
定律 独立性 同分布 方差存在 收敛方式
切比雪夫 ✓ ✗ ✓（有界） 依概率
伯努利 ✓ ✓ ✓ 依概率
辛钦 ✓ ✓ ✗（只需期望） 依概率
强大数定律 ✓ ✓ ✗（只需期望） 几乎处处

5.2 中心极限定理

中心极限定理（Central Limit Theorem, CLT）回答一个深刻的问题：为什么正态分布如此普遍？ 答案是：大量独立随机因素叠加的结果，无论每个因素服从什么分布，其和都近似服从正态分布。

5.2.1 列维-林德伯格（Lindeberg-Lévy）中心极限定理

这是最常见的中心极限定理，适用于独立同分布的情形。

条件：设 $\{X_n\}$ 是独立同分布的随机变量序列，$E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$。

结论：令 $S_n = \sum_{i=1}^{n} X_i$，则标准化后的随机变量：

$$Z_n = \frac{S_n - n\mu}{\sqrt{n}\sigma} = \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}}$$

的分布函数弱收敛于标准正态分布函数，即对任意实数 $x$：

$$\boxed{\lim_{n\to\infty} P\!\left(Z_n \leq x\right) = \Phi(x) = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^2/2}\, dt}$$

通俗理解：当 $n$ 充分大时，

$$\bar{X}_n \stackrel{\text{近似}}{\sim} N\!\left(\mu, \frac{\sigma^2}{n}\right), \qquad S_n \stackrel{\text{近似}}{\sim} N(n\mu, n\sigma^2)$$

⚠️ 注意：中心极限定理说的是分布函数的逐点收敛，而非密度函数的收敛。

5.2.2 棣莫弗-拉普拉斯（De Moivre-Laplace）中心极限定理

这是列维-林德伯格定理在二项分布上的特例，是历史上最早的中心极限定理。

条件：$X \sim B(n, p)$（$n$ 重伯努利试验中成功的次数）。

结论：当 $n$ 充分大时，

$$\frac{X - np}{\sqrt{np(1-p)}} \stackrel{\text{近似}}{\sim} N(0, 1)$$

即对任意 $a < b$：

$$P\!\left(a \leq \frac{X - np}{\sqrt{np(1-p)}} \leq b\right) \approx \Phi(b) - \Phi(a)$$

应用：二项分布的正态近似（当 $n$ 大、$p$ 不太接近0或1时）。

经验法则：当 $np \geq 5$ 且 $n(1-p) \geq 5$ 时，正态近似效果较好。

5.2.3 李雅普诺夫（Lyapunov）中心极限定理

适用于独立但不同分布的情形。

条件：设 $\{X_n\}$ 相互独立（不要求同分布），$E(X_k) = \mu_k$，$D(X_k) = \sigma_k^2 > 0$。记 $B_n^2 = \sum_{k=1}^{n} \sigma_k^2$。若存在 $\delta > 0$ 使得李雅普诺夫条件成立：

$$\lim_{n\to\infty} \frac{1}{B_n^{2+\delta}}\sum_{k=1}^{n} E\!\left[|X_k - \mu_k|^{2+\delta}\right] = 0$$

结论：

$$\frac{1}{B_n}\sum_{k=1}^{n}(X_k - \mu_k) \xrightarrow{d} N(0, 1)$$

其中 $\xrightarrow{d}$ 表示分布收敛（或弱收敛）。

直观含义：每个 $X_k$ 对总和的贡献"均匀地小"，没有哪一个占主导地位。

中心极限定理的实践应用
应用1：近似计算概率

当 $n$ 较大时，可用正态分布近似计算：

  • 二项分布：$P(X \leq k) \approx \Phi\!\left(\dfrac{k + 0.5 - np}{\sqrt{npq}}\right)$（0.5为连续性修正）
  • 泊松分布：当 $\lambda$ 较大时，$P(X \leq k) \approx \Phi\!\left(\dfrac{k + 0.5 - \lambda}{\sqrt{\lambda}}\right)$
应用2：确定样本量

在给定精度 $\varepsilon$ 和置信度 $1-\alpha$ 下，需要多大的样本量 $n$？

由中心极限定理：

$$P\!\left(|\bar{X}_n - \mu| < \varepsilon\right) \approx 2\Phi\!\left(\frac{\varepsilon\sqrt{n}}{\sigma}\right) - 1 \geq 1 - \alpha$$

解得：

$$n \geq \frac{z_{\alpha/2}^2 \cdot \sigma^2}{\varepsilon^2}$$

其中 $z_{\alpha/2}$ 是标准正态分布的上 $\alpha/2$ 分位数。

应用3：误差分析

在测量、质量控制等领域，总误差是大量微小独立误差的叠加，由中心极限定理可知总误差近似服从正态分布。

大数定律 vs 中心极限定理 对比
对比维度 大数定律 中心极限定理
回答的问题 “平均值趋于什么？” “偏离期望的波动服从什么分布？”
结论形式 依概率收敛到一个常数 标准化后收敛到一个分布
精度 只给出"趋于"，没有速率 给出了波动的精确分布形式
关系 CLT 蕴含大数定律（更强） 是对大数定律的精细刻画
本章核心思想总结

大数定律 = 随机性中蕴含确定性（平均结果稳定）

中心极限定理 = 大量独立随机因素的叠加结果具有普适的分布形态（正态分布）

这两大定理共同构成了统计推断（参数估计、假设检验）的理论基础。

概率论 随机变量 概率分布

Related posts

张量分析

介绍张量分析的基础知识

September 21, 2026 in 数学 15 minutes