# 概率论介绍概率论的基础知识

### 第1章 随机事件与概率

---

#### 1.1 样本空间和随机事件

##### 1.1.1 随机试验
随机试验（记作 $E$）需满足三个条件：
- 可在**相同条件下重复**进行
- 每次试验的可能结果**不止一个**，且事先**明确所有可能结果**
- 每次试验前**无法确定**会出现哪个结果

##### 1.1.2 样本空间
- **样本点**（$\omega$）：随机试验的每一个最基本的可能结果
- **样本空间**（$\Omega$）：所有样本点的集合，即全部可能结果的总体

> 例如：掷一枚骰子，$\Omega = \{1, 2, 3, 4, 5, 6\}$

##### 1.1.3 随机事件
- 样本空间的**子集**称为随机事件（简称事件，记作 $A, B, C\ldots$）
- 只含一个样本点的事件叫**基本事件**
- $\Omega$ 称为**必然事件**，$\varnothing$ 称为**不可能事件**

##### 1.1.4 事件的关系与运算

| 关系/运算 | 含义 | 集合表示 |
|:---:|:---:|:---:|
| 包含 | $A$ 发生则 $B$ 必发生 | $A \subset B$ |
| 相等 | 两事件包含相同的样本点 | $A = B$ |
| 和（并） | $A$ 或 $B$ 至少一个发生 | $A \cup B$ |
| 积（交） | $A$ 和 $B$ 同时发生 | $A \cap B$（或 $AB$） |
| 差 | $A$ 发生但 $B$ 不发生 | $A - B$ |
| 互斥（互不相容） | $A$ 和 $B$ 不能同时发生 | $AB = \varnothing$ |
| 对立（逆事件） | $A$ 不发生 | $\bar{A}$，满足 $A \cup \bar{A} = \Omega$，$A\bar{A} = \varnothing$ |

**运算律**：交换律、结合律、分配律、**德摩根律** $\overline{A \cup B} = \bar{A}\bar{B}$，$\overline{AB} = \bar{A} \cup \bar{B}$

---

#### 1.2 事件的概率

##### 1.2.1 古典概率（古典概型）
适用条件：样本空间**有限**，且每个样本点**等可能出现**。

$$P(A) = \frac{A \text{ 包含的样本点数}}{\Omega \text{ 中的样本点总数}}$$

##### 1.2.2 几何概率（几何概型）
适用条件：样本空间为**无限**的几何区域，每个点等可能。

$$P(A) = \frac{A \text{ 的几何度量（长度/面积/体积）}}{\Omega \text{ 的几何度量}}$$

##### 1.2.3 频率
在 $n$ 次重复试验中，事件 $A$ 发生 $n_A$ 次，则**频率**为：

$$f_n(A) = \frac{n_A}{n}$$

频率具有**稳定性**：当 $n$ 很大时，频率趋近于某个常数，这个常数就是概率。

##### 1.2.4 概率的公理化定义（柯尔莫哥洛夫，1933）
设 $P$ 是定义在事件域上的实值函数，满足三条公理：

1. **非负性**：$P(A) \geq 0$
2. **规范性**：$P(\Omega) = 1$
3. **可列可加性**：若 $A_1, A_2, \ldots$ 两两互斥，则 $P\!\left(\bigcup A_i\right) = \sum P(A_i)$

##### 1.2.5 概率的重要性质
- $P(\varnothing) = 0$
- **有限可加性**：两两互斥事件的并的概率等于各概率之和
- **对立事件**：$P(\bar{A}) = 1 - P(A)$
- **单调性**：若 $A \subset B$，则 $P(A) \leq P(B)$
- **加法公式**：$P(A \cup B) = P(A) + P(B) - P(AB)$
- **推广**：$P(A \cup B \cup C) = P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

---

#### 1.3 条件概率与乘法定理

##### 1.3.1 条件概率
在事件 $B$ 已发生的条件下，事件 $A$ 发生的概率：

$$P(A|B) = \frac{P(AB)}{P(B)}, \quad P(B) > 0$$

条件概率满足概率的所有性质（非负性、规范性、可加性等）。

##### 1.3.2 乘法定理
由条件概率直接推出：

$$P(AB) = P(A|B) \cdot P(B) = P(B|A) \cdot P(A)$$

**推广到 $n$ 个事件**：

$$P(A_1A_2\cdots A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\cdots P(A_n|A_1\cdots A_{n-1})$$

---

#### 1.4 独立性

##### 1.4.1 两个事件的独立性
若满足：

$$P(AB) = P(A) \cdot P(B)$$

则称 $A$ 与 $B$ **相互独立**。直观含义是：一个事件的发生不影响另一个事件发生的概率。

> 等价条件：当 $P(B) > 0$ 时，$A$ 与 $B$ 独立 $\iff P(A|B) = P(A)$

**重要结论**：若 $A$ 与 $B$ 独立，则 $A$ 与 $\bar{B}$、$\bar{A}$ 与 $B$、$\bar{A}$ 与 $\bar{B}$ 也独立。

##### 1.4.2 多个事件的独立性
- **两两独立**：任意两个事件之间都独立
- **相互独立**（更强）：任意子集的积事件概率等于各事件概率之积

> ⚠️ 两两独立 $\neq$ 相互独立，相互独立要求对所有组合都成立。

---

#### 1.5 全概率公式和贝叶斯公式

##### 1.5.1 全概率公式
若 $B_1, B_2, \ldots, B_n$ 构成 $\Omega$ 的一个**划分**（两两互斥且并集为 $\Omega$），且 $P(B_i) > 0$，则对任意事件 $A$：

$$P(A) = \sum_{i=1}^{n} P(B_i) \cdot P(A|B_i)$$

> **思想**：将复杂事件 $A$ 按"原因" $B_i$ 分解，分别计算再求和。

##### 1.5.2 贝叶斯公式（逆概率公式）
在相同条件下：

$$P(B_k|A) = \frac{P(B_k) \cdot P(A|B_k)}{\displaystyle \sum_{i=1}^{n} P(B_i) \cdot P(A|B_i)}$$

> **思想**：已知结果 $A$ 已发生，反过来推断是由哪个"原因" $B_k$ 导致的概率。

- $P(B_k)$ 称为**先验概率**
- $P(B_k|A)$ 称为**后验概率**

---

### 第2章 随机变量及其分布

本章是概率论的核心章节，将第1章中的"事件"用**数值化**的方式表达，引入随机变量的概念，并研究其分布规律。

---

#### 2.1 随机变量

**随机变量**（Random Variable，记作 $X, Y, Z\ldots$）是定义在样本空间 $\Omega$ 上的**实值函数**，它将每个样本点 $\omega$ 映射为一个实数 $X(\omega)$。

> **意义**：用数值来描述随机试验的结果，使我们可以用数学分析的工具来研究随机现象。

**分类**：
- **离散型**：可能取值为有限个或可列无穷个
- **连续型**：可能取值充满某个区间（不可列）
- **其他型**（如混合型，一般不作深入讨论）

---

#### 2.2 离散型随机变量及其分布律

##### 2.2.1 离散型随机变量

**分布律**（概率分布）：设离散型随机变量 $X$ 的所有可能取值为 $x_1, x_2, \ldots$，则

$$P(X = x_k) = p_k, \quad k = 1, 2, \ldots$$

称为 $X$ 的分布律。

**性质**：
1. $p_k \geq 0$
2. $\sum_{k} p_k = 1$

**表示方式**：

| $X$ | $x_1$ | $x_2$ | $\cdots$ | $x_k$ | $\cdots$ |
|:---:|:---:|:---:|:---:|:---:|:---:|
| $P$ | $p_1$ | $p_2$ | $\cdots$ | $p_k$ | $\cdots$ |

---

##### 2.2.2 几种重要的离散型随机变量

###### ① 0-1分布（两点分布）
$X$ 只取 0 和 1 两个值：

$$P(X=1)=p, \quad P(X=0)=1-p=q \quad (0 用于描述一次伯努利试验的成功/失败。

###### ② 二项分布 $X \sim B(n, p)$
$n$ 重伯努利试验中成功的次数：

$$P(X=k) = C_n^k \, p^k q^{n-k}, \quad k = 0, 1, \ldots, n$$

- 参数：$n$（试验次数）、$p$（每次成功概率）
- 期望：$E(X) = np$，方差：$D(X) = npq$

###### ③ 泊松分布 $X \sim P(\lambda)$

$$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots \quad (\lambda > 0)$$

- 参数：$\lambda$（单位时间/空间内事件发生的平均次数）
- 期望 = 方差 = $\lambda$
- **泊松定理**：当 $n$ 很大、$p$ 很小、$np = \lambda$ 适中时，二项分布可用泊松分布近似

###### ④ 几何分布 $X \sim G(p)$
首次成功所需的试验次数：

$$P(X=k) = q^{k-1}p, \quad k = 1, 2, \ldots$$

- 期望：$E(X) = \frac{1}{p}$

###### ⑤ 超几何分布
从 $N$ 件产品（其中 $M$ 件次品）中不放回地抽取 $n$ 件，抽到次品数 $X$：

$$P(X=k) = \frac{C_M^k \cdot C_{N-M}^{n-k}}{C_N^n}$$

---

#### 2.3 随机变量的分布函数

**定义**：对任意实数 $x$，定义

$$F(x) = P(X \leq x), \quad -\infty < x < +\infty$$

称为随机变量 $X$ 的**分布函数**（累积分布函数，CDF）。

##### 基本性质

1. **单调不减**：$x_1 < x_2 \Rightarrow F(x_1) \leq F(x_2)$
2. **有界性**：$0 \leq F(x) \leq 1$，且 $\lim\limits_{x\to -\infty}F(x)=0$，$\lim\limits_{x\to +\infty}F(x)=1$
3. **右连续**：$F(x+0) = F(x)$

##### 用分布函数表示概率

$$P(x_1 < X \leq x_2) = F(x_2) - F(x_1)$$

##### 离散型随机变量的分布函数

$$F(x) = \sum_{x_k \leq x} P(X = x_k)$$

分布函数是一个**阶梯函数**，在 $x_k$ 处跳跃，跳跃高度为 $p_k$。

---

#### 2.4 连续型随机变量及其分布

##### 2.4.1 连续型随机变量及其密度函数

**定义**：若存在**非负可积函数** $f(x)$，使得对任意实数 $x$：

$$F(x) = \int_{-\infty}^{x} f(t)\, dt$$

则称 $X$ 为连续型随机变量，$f(x)$ 称为 $X$ 的**概率密度函数**（PDF）。

**性质**：
1. $f(x) \geq 0$
2. $\int_{-\infty}^{+\infty} f(x)\, dx = 1$
3. $P(x_1 < X \leq x_2) = \int_{x_1}^{x_2} f(x)\, dx$
4. 若 $f(x)$ 在 $x$ 处连续，则 $F'(x) = f(x)$
5. 对任意实数 $a$，$P(X = a) = 0$（连续型随机变量取任一具体值的概率为0）

> ⚠️ **注意**：$f(x)$ 不是概率，它可以大于1。概率是密度函数下的**面积**。

---

##### 2.4.2 几种重要的连续型随机变量

###### ① 均匀分布 $X \sim U(a, b)$

$$f(x) = \begin{cases} \dfrac{1}{b-a}, & a < x < b \$$6pt] 0, & \text{其他} \end{cases}$$

$$F(x) = \begin{cases} 0, & x \leq a \$$4pt] \dfrac{x-a}{b-a}, & a < x < b \$$4pt] 1, & x \geq b \end{cases}$$

- 期望：$E(X) = \dfrac{a+b}{2}$
- 方差：$D(X) = \dfrac{(b-a)^2}{12}$

###### ② 指数分布 $X \sim \text{Exp}(\lambda)$

$$f(x) = \begin{cases} \lambda e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases} \quad (\lambda > 0)$$

$$F(x) = \begin{cases} 1 - e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases}$$

- 期望：$E(X) = \dfrac{1}{\lambda}$
- 方差：$D(X) = \dfrac{1}{\lambda^2}$
- **无记忆性**：$P(X > s+t \mid X > s) = P(X > t)$

###### ③ 正态分布（高斯分布）$X \sim N(\mu, \sigma^2)$

$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), \quad -\infty < x < +\infty$$

- 参数：$\mu$（位置参数，决定对称轴），$\sigma^2$（尺度参数，决定分散程度）
- 期望：$E(X) = \mu$，方差：$D(X) = \sigma^2$
- 图像关于 $x = \mu$ 对称，呈钟形曲线

**标准正态分布** $Z \sim N(0, 1)$：

$$\varphi(z) = \frac{1}{\sqrt{2\pi}}e^{-z^2/2}, \quad \Phi(z) = \int_{-\infty}^{z}\varphi(t)\,dt$$

**标准化**：若 $X \sim N(\mu, \sigma^2)$，则 $Z = \dfrac{X-\mu}{\sigma} \sim N(0, 1)$

---

#### 2.5 一维随机变量函数的分布

已知 $X$ 的分布，求 $Y = g(X)$ 的分布。

##### 2.5.1 离散型随机变量函数的分布

**方法**：
1. 将 $X$ 的每个取值 $x_k$ 代入 $Y = g(X)$，得到 $y_k = g(x_k)$
2. 若 $y_k$ 有重复，则将对应概率合并
3. 列出 $Y$ 的分布律

##### 2.5.2 连续型随机变量函数的分布

**方法一：分布函数法**（通用方法）

1. 先求 $Y$ 的分布函数：$F_Y(y) = P(Y \leq y) = P(g(X) \leq y)$
2. 将事件 $\{g(X) \leq y\}$ 转化为 $X$ 的范围
3. 对 $F_Y(y)$ 求导得密度函数：$f_Y(y) = F_Y'(y)$

**方法二：公式法**（要求 $g(x)$ 严格单调可导）

若 $y = g(x)$ 严格单调，反函数为 $x = h(y)$，则：

$$f_Y(y) = f_X(h(y)) \cdot |h'(y)|, \quad y \in \text{值域}$$

**常见特例**：
- **线性变换** $Y = aX + b$（$a \neq 0$）：

  $$f_Y(y) = \frac{1}{|a|} f_X\!\left(\frac{y-b}{a}\right)$$

  特别地，正态变量的线性变换仍为正态。

- **平方变换** $Y = X^2$：

  $$f_Y(y) = \begin{cases} \dfrac{1}{2\sqrt{y}}\left[f_X(\sqrt{y}) + f_X(-\sqrt{y})\right], & y > 0 \\ 0, & y \leq 0 \end{cases}$$

---

### 第3章 多维随机变量及其分布

本章将第2章的一维随机变量推广到**多维（以二维为主）**，研究多个随机变量的**联合行为**以及它们之间的关系。

---

#### 3.1 二维随机变量及其联合分布

##### 3.1.1 二维随机变量的联合分布函数

**定义**：设 $(X, Y)$ 是二维随机变量，对任意实数 $x, y$，称

$$F(x, y) = P(X \leq x, \, Y \leq y)$$

为 $(X, Y)$ 的**联合分布函数**。

**几何意义**：表示随机点 $(X, Y)$ 落在以 $(x, y)$ 为右上顶点的左下无穷矩形区域内的概率。

**基本性质**：

| 性质 | 内容 |
|:---:|:---|
| 单调性 | 对每个变量单调不减 |
| 有界性 | $0 \leq F(x,y) \leq 1$ |
| 极限 | $F(-\infty, y) = F(x, -\infty) = 0$，$F(+\infty, +\infty) = 1$ |
| 右连续 | 对每个变量右连续 |
| 非负性 | 对任意 $x_1 ⚠️ **注意**：$f(x,y)$ 不是概率，而是"概率密度"，可以大于1。

---

##### 3.1.4 重要的二维随机变量及其分布

###### ① 二维均匀分布

若 $(X, Y)$ 在平面有界区域 $D$ 上服从均匀分布，则：

$$f(x, y) = \begin{cases} \dfrac{1}{S_D}, & (x,y) \in D \\ 0, & \text{其他} \end{cases}$$

其中 $S_D$ 是区域 $D$ 的面积。

###### ② 二维正态分布 $(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$

$$f(x, y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\!\left\{-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right\}$$

**五个参数**：
- $\mu_1, \mu_2$：$X, Y$ 的均值
- $\sigma_1^2, \sigma_2^2$：$X, Y$ 的方差
- $\rho$：相关系数（$-1 < \rho < 1$），描述线性相关程度

**重要结论**：
- $X \sim N(\mu_1, \sigma_1^2)$，$Y \sim N(\mu_2, \sigma_2^2)$（边缘分布仍为正态）
- $\rho = 0 \iff X$ 与 $Y$ **独立**（正态分布中，不相关 $\iff$ 独立）

---

#### 3.2 边缘分布

边缘分布描述的是：**在联合分布中只关注其中一个变量的分布**，相当于把另一个变量"边缘化"（积掉或求和掉）。

##### 3.2.1 边缘分布函数

由联合分布函数 $F(x, y)$ 可得：

$$F_X(x) = P(X \leq x) = F(x, +\infty) = \lim_{y\to+\infty}F(x, y)$$

$$F_Y(y) = P(Y \leq y) = F(+\infty, y) = \lim_{x\to+\infty}F(x, y)$$

---

##### 3.2.2 二维离散型随机变量的边缘分布律

由联合分布律 $p_{ij} = P(X = x_i, Y = y_j)$：

$$P(X = x_i) = p_{i\cdot} = \sum_{j} p_{ij} \quad \text{（对第 } i \text{ 行求和）}$$

$$P(Y = y_j) = p_{\cdot j} = \sum_{i} p_{ij} \quad \text{（对第 } j \text{ 列求和）}$$

> 表格中最后一行/最后一列即为边缘分布律，"·" 表示被求和消去的指标。

---

##### 3.2.3 二维连续型随机变量的边缘密度函数

由联合密度 $f(x, y)$：

$$f_X(x) = \int_{-\infty}^{+\infty} f(x, y)\, dy$$

$$f_Y(y) = \int_{-\infty}^{+\infty} f(x, y)\, dx$$

> 对谁求边缘密度，就对**另一个变量**在全实轴上积分。

---

#### 3.3 随机变量的独立性

**定义**：若对任意 $x, y$，都有

$$F(x, y) = F_X(x) \cdot F_Y(y)$$

则称 $X$ 与 $Y$ **相互独立**。

##### 离散型独立的等价条件

$$p_{ij} = p_{i\cdot} \cdot p_{\cdot j}, \quad \forall i, j$$

##### 连续型独立的等价条件

$$f(x, y) = f_X(x) \cdot f_Y(y), \quad \text{几乎处处成立}$$

##### 重要性质

| 性质 | 说明 |
|:---:|:---|
| 函数保持独立 | 若 $X, Y$ 独立，则 $g(X)$ 与 $h(Y)$ 也独立 |
| 独立 $\Rightarrow$ 不相关 | 但反之不成立（正态分布除外） |
| 多个变量独立 | 两两独立 $\neq$ 相互独立，要求对所有子集成立 |

---

#### 3.4 条件分布

条件分布回答的问题是：**已知一个变量取某个值时，另一个变量的分布是什么？**

##### 3.4.1 二维离散型随机变量的条件分布

**在 $Y = y_j$ 条件下 $X$ 的条件分布律**（要求 $P(Y=y_j) > 0$）：

$$P(X = x_i \mid Y = y_j) = \frac{P(X = x_i, Y = y_j)}{P(Y = y_j)} = \frac{p_{ij}}{p_{\cdot j}}, \quad i = 1, 2, \ldots$$

**在 $X = x_i$ 条件下 $Y$ 的条件分布律**：

$$P(Y = y_j \mid X = x_i) = \frac{p_{ij}}{p_{i\cdot}}, \quad j = 1, 2, \ldots$$

> 条件分布律满足概率的所有性质：非负、和为1。

---

##### 3.4.2 二维连续型随机变量的条件分布

连续型随机变量取单点值的概率为0，不能直接用离散型的定义，需通过**极限**来定义：

**在 $Y = y$ 条件下 $X$ 的条件密度函数**（要求 $f_Y(y) > 0$）：

$$f_{X|Y}(x \mid y) = \frac{f(x, y)}{f_Y(y)}$$

**在 $X = x$ 条件下 $Y$ 的条件密度函数**：

$$f_{Y|X}(y \mid x) = \frac{f(x, y)}{f_X(x)}$$

**理解**：条件密度 = 联合密度 ÷ 边缘密度，体现了"固定一个变量后，另一个变量的相对分布形状"。

##### 独立性与条件分布的关系

$X$ 与 $Y$ 独立 $\iff f_{X|Y}(x|y) = f_X(x)$（条件分布 = 无条件分布，即已知 $Y$ 的值对 $X$ 的分布没有影响）。

---

#### 3.5 二维随机变量函数的分布

已知 $(X, Y)$ 的联合分布，求 $Z = g(X, Y)$ 的分布。

##### 3.5.1 二维离散型随机变量函数的分布

**方法**：
1. 列出 $(X, Y)$ 所有可能的取值对 $(x_i, y_j)$
2. 计算对应的 $z_k = g(x_i, y_j)$
3. 将相同 $z_k$ 对应的概率合并

---

##### 3.5.2 二维连续型随机变量函数的分布

###### 方法一：分布函数法（通用）

$$F_Z(z) = P(Z \leq z) = P(g(X, Y) \leq z) = \iint_{g(x,y)\leq z} f(x, y)\,dx\,dy$$

再求导：$f_Z(z) = F_Z'(z)$

###### 方法二：卷积公式（重要特例）

**$Z = X + Y$**：

若 $X, Y$ 独立，则 $Z$ 的密度为：

$$f_Z(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x)\, dx = \int_{-\infty}^{+\infty} f_X(z-y) f_Y(y)\, dy$$

这称为两个密度函数的**卷积**，记作 $f_Z = f_X * f_Y$。

**重要结论**：

| 分布类型 | 卷积结果 |
|:---:|:---|
| 正态 + 正态（独立） | 仍为正态：$N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$ |
| 泊松 + 泊松（独立） | 仍为泊松：$P(\lambda_1+\lambda_2)$ |
| 二项 + 二项（$p$ 相同，独立） | 仍为二项：$B(n_1+n_2, p)$ |
| 指数 + 指数（$\lambda$ 相同） | 伽马分布 $\Gamma(2, \lambda)$ |

###### 方法三：最大值与最小值的分布

设 $X, Y$ **独立**，分布函数分别为 $F_X, F_Y$：

- **最大值** $M = \max(X, Y)$：

$$F_M(z) = F_X(z) \cdot F_Y(z)$$

- **最小值** $N = \min(X, Y)$：

$$F_N(z) = 1 - [1-F_X(z)][1-F_Y(z)]$$

**推广到 $n$ 个独立变量**：

$$F_{\max}(z) = \prod_{i=1}^{n} F_{X_i}(z), \quad F_{\min}(z) = 1 - \prod_{i=1}^{n}[1-F_{X_i}(z)]$$

---

##### 常见函数变换汇总

| $Z = g(X,Y)$ | 方法要点 |
|:---:|:---|
| $X+Y$ | 卷积公式 |
| $XY$ | 分布函数法，或公式 $f_Z(z)=\int f(x,z/x)\frac{1}{|x|}dx$ |
| $X/Y$ | 公式 $f_Z(z)=\int |y|f(zy,y)dy$ |
| $\max/\min$ | 利用独立性直接写分布函数 |
| $X^2+Y^2$ | 极坐标变换（当 $(X,Y)$ 为标准正态时得到 $\chi^2$ 分布） |

---
### 第4章 随机变量的数字特征

本章的核心任务是：用**少数几个数值**来刻画随机变量（或其分布）的关键特征，而无需完整给出分布函数或密度函数。

---

#### 4.1 数学期望

数学期望（Expected Value）描述随机变量取值的**平均水平**（加权平均），是最基本的数字特征。

---

##### 4.1.1 离散型随机变量的数学期望

**定义**：设离散型随机变量 $X$ 的分布律为 $P(X = x_k) = p_k$（$k = 1, 2, \ldots$），若级数 $\sum_k x_k p_k$ **绝对收敛**，则定义：

$$E(X) = \sum_{k} x_k p_k$$

> ⚠️ 要求**绝对收敛**，否则数学期望不存在（例如某些柯西型分布）。

**常见离散分布的期望**：

| 分布 | $E(X)$ |
|:---:|:---:|
| 0-1分布 $B(1,p)$ | $p$ |
| 二项分布 $B(n, p)$ | $np$ |
| 泊松分布 $P(\lambda)$ | $\lambda$ |
| 几何分布 $G(p)$ | $\dfrac{1}{p}$ |
| 超几何分布 $H(N, M, n)$ | $\dfrac{nM}{N}$ |

---

##### 4.1.2 连续型随机变量的数学期望

**定义**：设连续型随机变量 $X$ 的密度函数为 $f(x)$，若积分 $\int_{-\infty}^{+\infty} x f(x)\,dx$ **绝对收敛**，则定义：

$$E(X) = \int_{-\infty}^{+\infty} x f(x)\, dx$$

**常见连续分布的期望**：

| 分布 | $E(X)$ |
|:---:|:---:|
| 均匀分布 $U(a, b)$ | $\dfrac{a+b}{2}$ |
| 指数分布 $\text{Exp}(\lambda)$ | $\dfrac{1}{\lambda}$ |
| 正态分布 $N(\mu, \sigma^2)$ | $\mu$ |

---

##### 4.1.3 随机变量函数的数学期望

**意义**：已知 $X$ 的分布，求 $Y = g(X)$ 的期望，**无需先求 $Y$ 的分布**，可直接由 $X$ 的分布计算。

###### 一维情形（随机变量定理 / LOTUS）

- **离散型**：
$$E[g(X)] = \sum_{k} g(x_k) p_k$$

- **连续型**：
$$E[g(X)] = \int_{-\infty}^{+\infty} g(x) f(x)\, dx$$

###### 二维情形

- **离散型**：
$$E[g(X, Y)] = \sum_{i}\sum_{j} g(x_i, y_j) \, p_{ij}$$

- **连续型**：
$$E[g(X, Y)] = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} g(x, y) f(x, y)\, dx\, dy$$

> **重要提示**：该定理极大简化了计算，是后续推导方差、协方差等的基础工具。

---

##### 4.1.4 数学期望的性质

| 性质 | 公式 | 说明 |
|:---:|:---|:---:|
| 常数的期望 | $E(c) = c$ | 常数的"平均值"就是它本身 |
| 线性性（齐次性） | $E(cX) = cE(X)$ | 常数因子可提出 |
| 线性性（可加性） | $E(X+Y) = E(X) + E(Y)$ | **不要求独立** |
| 独立性乘积 | 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$ | 注意：逆命题不成立 |

**推广**（线性性的直接推论）：

$$E\!\left(\sum_{i=1}^{n} c_i X_i\right) = \sum_{i=1}^{n} c_i E(X_i)$$

> 无论 $X_1, \ldots, X_n$ 是否独立，上式均成立。

---

#### 4.2 方差

方差（Variance）描述随机变量取值相对于其期望的**偏离程度**（波动大小）。

---

##### 4.2.1 方差的概念

**定义**：设 $X$ 是随机变量，若 $E\big[(X-E(X))^2\big]$ 存在，则称其为 $X$ 的**方差**：

$$D(X) = \text{Var}(X) = E\!\left[\big(X - E(X)\big)^2\right]$$

标准差（均方差）：$\sigma_X = \sqrt{D(X)}$

**计算公式**（常用）：

$$\boxed{D(X) = E(X^2) - [E(X)]^2}$$

> 推导：$E[(X-\mu)^2] = E(X^2 - 2\mu X + \mu^2) = E(X^2) - 2\mu E(X) + \mu^2 = E(X^2) - \mu^2$

**常见分布的方差**：

| 分布 | $D(X)$ |
|:---:|:---:|
| 0-1分布 $B(1,p)$ | $pq$（$q=1-p$） |
| 二项分布 $B(n, p)$ | $npq$ |
| 泊松分布 $P(\lambda)$ | $\lambda$ |
| 均匀分布 $U(a, b)$ | $\dfrac{(b-a)^2}{12}$ |
| 指数分布 $\text{Exp}(\lambda)$ | $\dfrac{1}{\lambda^2}$ |
| 正态分布 $N(\mu, \sigma^2)$ | $\sigma^2$ |

---

##### 4.2.2 方差的性质

| 性质 | 公式 | 说明 |
|:---:|:---|:---|
| 常数的方差 | $D(c) = 0$ | 常数无波动 |
| 常数倍 | $D(cX) = c^2 D(X)$ | 注意是 **平方** |
| 加减常数 | $D(X + c) = D(X)$ | 平移不改变波动 |
| 独立变量的和 | 若 $X, Y$ 独立，则 $D(X+Y) = D(X)+D(Y)$ | **要求独立** |
| 独立变量的差 | 若 $X, Y$ 独立，则 $D(X-Y) = D(X)+D(Y)$ | 注意不是相减！ |

**推广**（$X_1, \ldots, X_n$ 相互独立）：

$$D\!\left(\sum_{i=1}^{n} c_i X_i\right) = \sum_{i=1}^{n} c_i^2 D(X_i)$$

**线性变换**：$D(aX + b) = a^2 D(X)$

---

#### 4.3 协方差和相关系数

方差只能描述单个随机变量的波动，**协方差**和**相关系数**则用来描述**两个随机变量之间的关系**。

---

##### 4.3.1 协方差的定义

**定义**：

$$\text{Cov}(X, Y) = E\!\left[\big(X-E(X)\big)\big(Y-E(Y)\big)\right]$$

**计算公式**：

$$\boxed{\text{Cov}(X, Y) = E(XY) - E(X)E(Y)}$$

**直观理解**：
- $\text{Cov}(X,Y) > 0$：$X$ 与 $Y$ 倾向于同方向偏离各自的均值
- $\text{Cov}(X,Y) < 0$：$X$ 与 $Y$ 倾向于反方向偏离
- $\text{Cov}(X,Y) = 0$：称 $X$ 与 $Y$ **不相关**

**与方差的关系**：

$$D(X+Y) = D(X) + D(Y) + 2\text{Cov}(X,Y)$$

$$D(X-Y) = D(X) + D(Y) - 2\text{Cov}(X,Y)$$

> 当 $X, Y$ 独立时，$\text{Cov}(X,Y) = 0$，上式退化为方差性质中的公式。

---

##### 4.3.2 协方差的性质

| 性质 | 公式 |
|:---:|:---|
| 对称性 | $\text{Cov}(X,Y) = \text{Cov}(Y,X)$ |
| 与自身的协方差 | $\text{Cov}(X,X) = D(X)$ |
| 线性性（第一变量） | $\text{Cov}(aX+b, Y) = a\,\text{Cov}(X,Y)$ |
| 双线性 | $\text{Cov}(aX+b,\, cY+d) = ac\,\text{Cov}(X,Y)$ |
| 可加性 | $\text{Cov}(X_1+X_2, Y) = \text{Cov}(X_1,Y)+\text{Cov}(X_2,Y)$ |
| 独立 $\Rightarrow$ 不相关 | 若 $X, Y$ 独立，则 $\text{Cov}(X,Y) = 0$ |

> ⚠️ **逆命题不成立**：不相关 $\neq$ 独立。不相关只说明没有**线性**关系，但可能有非线性关系。（正态分布是例外，对正态分布而言不相关 $\iff$ 独立。）

---

##### 4.3.3 相关系数

协方差的大小受量纲影响，不便比较，因此引入**相关系数**（标准化后的协方差）：

**定义**：

$$\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

（要求 $D(X) > 0$ 且 $D(Y) > 0$）

###### 重要性质

**性质1：有界性**

$$|\rho_{XY}| \leq 1$$

**性质2：线性关系的刻画**

- $\rho_{XY} = 1$ $\iff$ 存在 $a > 0, b$ 使得 $P(Y = aX+b) = 1$（完全正线性相关）
- $\rho_{XY} = -1$ $\iff$ 存在 $a < 0, b$ 使得 $P(Y = aX+b) = 1$（完全负线性相关）
- $|\rho_{XY}|$ 越接近 1，线性相关程度越强
- $|\rho_{XY}|$ 越接近 0，线性相关程度越弱

###### 不相关的等价条件

以下条件**等价**：
1. $\rho_{XY} = 0$
2. $\text{Cov}(X, Y) = 0$
3. $E(XY) = E(X)E(Y)$
4. $D(X+Y) = D(X) + D(Y)$

---

##### 4.3.4 矩

矩（Moment）是比期望和方差更一般的数字特征。

| 名称 | 定义 | 特例 |
|:---:|:---|:---|
| $k$ 阶**原点矩** | $\mu_k' = E(X^k)$ | $\mu_1' = E(X)$（即期望） |
| $k$ 阶**中心矩** | $\mu_k = E[(X-E(X))^k]$ | $\mu_2 = D(X)$（即方差） |
| $k+l$ 阶**混合原点矩** | $E(X^k Y^l)$ | $E(XY)$ 为混合一阶矩 |
| $k+l$ 阶**混合中心矩** | $E[(X-\mu_X)^k(Y-\mu_Y)^l]$ | $\text{Cov}(X,Y)$ 为二阶混合中心矩 |

---

#### *4.4 多维随机变量的数字特征

##### 4.4.1 多维随机变量的期望和协方差矩阵

###### 期望向量

对 $n$ 维随机变量 $(X_1, X_2, \ldots, X_n)$，定义其**期望向量**：

$$\boldsymbol{\mu} = \begin{pmatrix} E(X_1) \\ E(X_2) \\ \vdots \\ E(X_n) \end{pmatrix}$$

###### 协方差矩阵

定义 **协方差矩阵** $\mathbf{\Sigma}$ 为 $n \times n$ 矩阵，其第 $(i, j)$ 元素为：

$$\sigma_{ij} = \text{Cov}(X_i, X_j)$$

即：

$$\mathbf{\Sigma} = \begin{pmatrix} D(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\ \text{Cov}(X_2,X_1) & D(X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & D(X_n) \end{pmatrix}$$

**性质**：
- 对称矩阵：$\mathbf{\Sigma}^\top = \mathbf{\Sigma}$
- 非负定（半正定）：对任意实向量 $\mathbf{a}$，有 $\mathbf{a}^\top\mathbf{\Sigma}\mathbf{a} \geq 0$
- 对角线元素为各变量的方差

---

##### 4.4.2 多维正态随机变量

###### 二元正态分布

$(X, Y)$ 服从二元正态分布，记作 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$，其密度函数见第3章。

**关键性质**：

1. **边缘分布**：$X \sim N(\mu_1, \sigma_1^2)$，$Y \sim N(\mu_2, \sigma_2^2)$

2. **独立 $\iff$ 不相关**：对二元正态分布，以下等价：
   - $X$ 与 $Y$ 独立
   - $\rho = 0$
   - $\text{Cov}(X,Y) = 0$

3. **线性组合仍为正态**：若 $(X,Y)$ 为二元正态，则对任意不全为0的常数 $a, b$：
   $$aX + bY \sim N\!\left(a\mu_1+b\mu_2,\; a^2\sigma_1^2+b^2\sigma_2^2+2ab\rho\sigma_1\sigma_2\right)$$

###### $n$ 维正态分布

$(X_1, \ldots, X_n) \sim N(\boldsymbol{\mu}, \mathbf{\Sigma})$，密度函数为：

$$f(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}|\mathbf{\Sigma}|^{1/2}}\exp\!\left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}$$

**核心性质**：

| 性质 | 说明 |
|:---:|:---|
| 边缘分布 | 任意子集仍服从多维正态分布 |
| 独立性 | 分量两两不相关 $\iff$ 分量相互独立 |
| 线性变换 | 若 $\mathbf{X} \sim N(\boldsymbol{\mu}, \mathbf{\Sigma})$，则 $\mathbf{A}\mathbf{X}+\mathbf{b} \sim N(\mathbf{A}\boldsymbol{\mu}+\mathbf{b},\; \mathbf{A}\mathbf{\Sigma}\mathbf{A}^\top)$ |

---

##### 本章核心公式速查

| 特征量 | 离散型 | 连续型 |
|:---:|:---:|:---:|
| 期望 | $\sum x_k p_k$ | $\int x f(x)\,dx$ |
| 方差 | $\sum (x_k-\mu)^2 p_k$ | $\int (x-\mu)^2 f(x)\,dx$ |
| 函数期望 | $\sum g(x_k)p_k$ | $\int g(x)f(x)\,dx$ |
| 协方差 | $E(XY)-E(X)E(Y)$ | 同左 |
| 相关系数 | $\rho = \dfrac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$ | 同左 |

---

### 第5章 大数定律和中心极限定理

本章是概率论的**理论核心**，研究大量随机现象的平均结果所呈现的规律性。大数定律回答"频率为何趋近于概率"，中心极限定理回答"大量独立随机变量之和为何近似正态分布"。

---

#### 5.1 大数定律

大数定律是一类定理的总称，描述的是：**在大量重复试验中，随机事件的频率趋于稳定（即概率），随机变量的算术平均趋于数学期望。**

---

##### 5.1.1 切比雪夫（Chebyshev）不等式

切比雪夫不等式是大数定律的**基石**，它给出了随机变量偏离其期望的概率的一个**上界估计**。

###### 基本形式

设随机变量 $X$ 的期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$ 存在，则对任意 $\varepsilon > 0$：

$$\boxed{P\!\left(|X - \mu| \geq \varepsilon\right) \leq \frac{\sigma^2}{\varepsilon^2}}$$

等价形式：

$$P\!\left(|X - \mu| < \varepsilon\right) \geq 1 - \frac{\sigma^2}{\varepsilon^2}$$

###### 直观含义

- 方差 $\sigma^2$ 越小，随机变量集中在期望附近的概率越大
- 偏离期望越远（$\varepsilon$ 越大），概率越小
- 这是一个**保守的估计**（上界），实际概率通常远小于此

###### 推广形式（马尔可夫不等式）

设 $X$ 为非负随机变量，对任意 $a > 0$：

$$P(X \geq a) \leq \frac{E(X)}{a}$$

> 切比雪夫不等式可由马尔可夫不等式推导：令 $X = (Y - \mu)^2 \geq 0$，取 $a = \varepsilon^2$。

###### 多维推广

若 $(X, Y)$ 的期望和方差存在，则：

$$P\!\left(|X-\mu_X| \geq \varepsilon_1 \text{ 或 } |Y-\mu_Y| \geq \varepsilon_2\right) \leq \frac{D(X)}{\varepsilon_1^2} + \frac{D(Y)}{\varepsilon_2^2}$$

---

##### 5.1.2 依概率收敛

在引入大数定律之前，需要明确一种特殊的收敛方式——**依概率收敛**（Convergence in Probability）。

###### 定义

设 $\{X_n\}$ 是一个随机变量序列，$a$ 是一个常数。若对任意 $\varepsilon > 0$：

$$\lim_{n\to\infty} P\!\left(|X_n - a| \geq \varepsilon\right) = 0$$

或等价地：

$$\lim_{n\to\infty} P\!\left(|X_n - a| < \varepsilon\right) = 1$$

则称 $X_n$ **依概率收敛**于 $a$，记作：

$$X_n \xrightarrow{P} a \quad \text{或} \quad \text{plim}_{n\to\infty} X_n = a$$

###### 与高等数学中"普通收敛"的区别

| 对比 | 普通收敛（数列） | 依概率收敛（随机变量序列） |
|:---:|:---|:---|
| 对象 | 确定的数列 $a_n$ | 随机变量序列 $X_n$ |
| 含义 | 当 $n$ 充分大时，$a_n$ **必定**接近 $a$ | 当 $n$ 充分大时，$X_n$ **以很大的概率**接近 $a$ |
| 严格性 | 更强 | 更弱 |

> ⚠️ 依概率收敛 **$\not\Rightarrow$** 几乎处处收敛；几乎处处收敛 **$\Rightarrow$** 依概率收敛。

###### 依概率收敛的性质

若 $X_n \xrightarrow{P} a$，$Y_n \xrightarrow{P} b$，则：

- $X_n \pm Y_n \xrightarrow{P} a \pm b$
- $X_n \cdot Y_n \xrightarrow{P} ab$
- $\dfrac{X_n}{Y_n} \xrightarrow{P} \dfrac{a}{b}$（当 $b \neq 0$）
- 若 $g$ 连续，则 $g(X_n) \xrightarrow{P} g(a)$

---

##### 5.1.3 大数定律

大数定律有多种形式，由弱到强依次介绍。

###### ① 切比雪夫大数定律

**条件**：设 $\{X_n\}$ 是**相互独立**的随机变量序列，每个 $X_i$ 的期望和方差都存在，且方差**一致有界**，即存在常数 $C$ 使得 $D(X_i) \leq C$（对所有 $i$）。

**结论**：

$$\frac{1}{n}\sum_{i=1}^{n} X_i - \frac{1}{n}\sum_{i=1}^{n} E(X_i) \xrightarrow{P} 0$$

即算术平均与其期望的算术平均之差依概率趋于0。

**证明思路**：令 $\bar{X}_n = \frac{1}{n}\sum X_i$，则 $E(\bar{X}_n) = \frac{1}{n}\sum E(X_i)$，$D(\bar{X}_n) = \frac{1}{n^2}\sum D(X_i) \leq \frac{C}{n}$。对 $\bar{X}_n$ 使用切比雪夫不等式，令 $n \to \infty$ 即可。

###### ② 伯努利（Bernoulli）大数定律

**条件**：在 $n$ 重伯努利试验中，事件 $A$ 发生的概率为 $p$，$n_A$ 为 $A$ 发生的次数。

**结论**：

$$\frac{n_A}{n} \xrightarrow{P} p$$

即**频率依概率收敛于概率**。

**证明**：将 $n_A$ 写成 $n$ 个独立的 0-1 分布随机变量之和，即 $n_A = X_1 + X_2 + \cdots + X_n$，其中 $X_i \sim B(1, p)$。则 $E(n_A/n) = p$，$D(n_A/n) = p(1-p)/n \to 0$，由切比雪夫大数定律即得。

> **意义**：这是概率的**频率定义**的理论依据——当试验次数很大时，频率稳定在概率附近。

###### ③ 辛钦（Khinchin）大数定律

**条件**：设 $\{X_n\}$ 是**独立同分布**（i.i.d.）的随机变量序列，且 $E(X_i) = \mu$（期望存在即可，**不要求方差存在**）。

**结论**：

$$\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu$$

> **意义**：这是最常用的大数定律形式。条件比切比雪夫大数定律更弱（不要求方差存在），但要求同分布。

###### ④ 强大数定律（柯尔莫哥洛夫）

**条件**：设 $\{X_n\}$ 独立同分布，$E|X_i| < \infty$。

**结论**：

$$P\!\left(\lim_{n\to\infty} \bar{X}_n = \mu\right) = 1$$

即算术平均**几乎处处收敛**于期望（比依概率收敛更强）。

---

##### 三种大数定律的对比

| 定律 | 独立性 | 同分布 | 方差存在 | 收敛方式 |
|:---:|:---:|:---:|:---:|:---:|
| 切比雪夫 | ✓ | ✗ | ✓（有界） | 依概率 |
| 伯努利 | ✓ | ✓ | ✓ | 依概率 |
| 辛钦 | ✓ | ✓ | ✗（只需期望） | 依概率 |
| 强大数定律 | ✓ | ✓ | ✗（只需期望） | 几乎处处 |

---

#### 5.2 中心极限定理

中心极限定理（Central Limit Theorem, CLT）回答一个深刻的问题：**为什么正态分布如此普遍？** 答案是：大量独立随机因素叠加的结果，无论每个因素服从什么分布，其和都近似服从正态分布。

---

##### 5.2.1 列维-林德伯格（Lindeberg-Lévy）中心极限定理

这是最常见的中心极限定理，适用于**独立同分布**的情形。

**条件**：设 $\{X_n\}$ 是独立同分布的随机变量序列，$E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$。

**结论**：令 $S_n = \sum_{i=1}^{n} X_i$，则标准化后的随机变量：

$$Z_n = \frac{S_n - n\mu}{\sqrt{n}\sigma} = \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}}$$

的分布函数**弱收敛**于标准正态分布函数，即对任意实数 $x$：

$$\boxed{\lim_{n\to\infty} P\!\left(Z_n \leq x\right) = \Phi(x) = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^2/2}\, dt}$$

**通俗理解**：当 $n$ 充分大时，

$$\bar{X}_n \stackrel{\text{近似}}{\sim} N\!\left(\mu, \frac{\sigma^2}{n}\right), \qquad S_n \stackrel{\text{近似}}{\sim} N(n\mu, n\sigma^2)$$

> ⚠️ 注意：中心极限定理说的是分布函数的**逐点收敛**，而非密度函数的收敛。

---

##### 5.2.2 棣莫弗-拉普拉斯（De Moivre-Laplace）中心极限定理

这是列维-林德伯格定理在**二项分布**上的特例，是历史上最早的中心极限定理。

**条件**：$X \sim B(n, p)$（$n$ 重伯努利试验中成功的次数）。

**结论**：当 $n$ 充分大时，

$$\frac{X - np}{\sqrt{np(1-p)}} \stackrel{\text{近似}}{\sim} N(0, 1)$$

即对任意 $a < b$：

$$P\!\left(a \leq \frac{X - np}{\sqrt{np(1-p)}} \leq b\right) \approx \Phi(b) - \Phi(a)$$

**应用**：二项分布的**正态近似**（当 $n$ 大、$p$ 不太接近0或1时）。

> **经验法则**：当 $np \geq 5$ 且 $n(1-p) \geq 5$ 时，正态近似效果较好。

---

##### 5.2.3 李雅普诺夫（Lyapunov）中心极限定理

适用于**独立但不同分布**的情形。

**条件**：设 $\{X_n\}$ 相互独立（不要求同分布），$E(X_k) = \mu_k$，$D(X_k) = \sigma_k^2 > 0$。记 $B_n^2 = \sum_{k=1}^{n} \sigma_k^2$。若存在 $\delta > 0$ 使得**李雅普诺夫条件**成立：

$$\lim_{n\to\infty} \frac{1}{B_n^{2+\delta}}\sum_{k=1}^{n} E\!\left[|X_k - \mu_k|^{2+\delta}\right] = 0$$

**结论**：

$$\frac{1}{B_n}\sum_{k=1}^{n}(X_k - \mu_k) \xrightarrow{d} N(0, 1)$$

其中 $\xrightarrow{d}$ 表示**分布收敛**（或弱收敛）。

> 直观含义：每个 $X_k$ 对总和的贡献"均匀地小"，没有哪一个占主导地位。

---

##### 中心极限定理的实践应用

###### 应用1：近似计算概率

当 $n$ 较大时，可用正态分布近似计算：

- **二项分布**：$P(X \leq k) \approx \Phi\!\left(\dfrac{k + 0.5 - np}{\sqrt{npq}}\right)$（0.5为**连续性修正**）
- **泊松分布**：当 $\lambda$ 较大时，$P(X \leq k) \approx \Phi\!\left(\dfrac{k + 0.5 - \lambda}{\sqrt{\lambda}}\right)$

###### 应用2：确定样本量

在给定精度 $\varepsilon$ 和置信度 $1-\alpha$ 下，需要多大的样本量 $n$？

由中心极限定理：

$$P\!\left(|\bar{X}_n - \mu| < \varepsilon\right) \approx 2\Phi\!\left(\frac{\varepsilon\sqrt{n}}{\sigma}\right) - 1 \geq 1 - \alpha$$

解得：

$$n \geq \frac{z_{\alpha/2}^2 \cdot \sigma^2}{\varepsilon^2}$$

其中 $z_{\alpha/2}$ 是标准正态分布的上 $\alpha/2$ 分位数。

###### 应用3：误差分析

在测量、质量控制等领域，总误差是大量微小独立误差的叠加，由中心极限定理可知总误差近似服从正态分布。

---

##### 大数定律 vs 中心极限定理 对比

| 对比维度 | 大数定律 | 中心极限定理 |
|:---:|:---|:---|
| 回答的问题 | "平均值趋于什么？" | "偏离期望的波动服从什么分布？" |
| 结论形式 | 依概率收敛到一个**常数** | 标准化后收敛到一个**分布** |
| 精度 | 只给出"趋于"，没有速率 | 给出了波动的精确分布形式 |
| 关系 | CLT 蕴含大数定律（更强） | 是对大数定律的精细刻画 |

---

##### 本章核心思想总结

> **大数定律** = 随机性中蕴含**确定性**（平均结果稳定）
>
> **中心极限定理** = 大量独立随机因素的叠加结果具有**普适的分布形态**（正态分布）

这两大定理共同构成了统计推断（参数估计、假设检验）的理论基础。