ESC
输入关键词搜索文章
目录

概率论基础

第 2 章 · 洪永淼 · XMU WISE
从随机试验到概率空间,从条件概率到贝叶斯推断
8核心定义
5重要定理
12关键公式
2课件引用

第 2 章从具体的随机试验出发,给出概率空间的公理化定义($S, \mathcal{B}, P$ 三元组),再建立条件概率、全概率公式和贝叶斯定理的推断框架。

2.1 随机试验
不确定性的形式化起点

随机试验的定义

随机试验(Random Experiment):在相同条件下可重复进行、结果至少两种且事先无法确定哪个结果实现的机制。

注意:这里"试验"泛指观察或测度的过程,不一定是真正实施的实验。

随机试验的两要素:

  1. 所有可能结果的集合(即样本空间 $S$
  2. 每个结果发生的可能性(概率函数 $P$

现代统计学的主要任务:根据观测数据推断这个概率法则(即"数据生成过程")。

课件对应
PDF随机试验定义(第2章 第3页)p.3
正在渲染 PDF 第 3 页…
随机试验定义(第2章 第3页)(PDF 第 3 页) · 打开原文
·
PDF样本空间举例(第2章 第9页)p.9
正在渲染 PDF 第 9 页…
样本空间举例(第2章 第9页)(PDF 第 9 页) · 打开原文
2.2 样本空间与事件
集合语言描述随机现象

样本空间

样本空间(Sample Space)$S$:随机试验所有可能基本结果的集合。基本结果(basic outcome / sample point)是 $S$ 的最小不可分单位。

样本空间可以是:

  • 可数的:抛硬币 $S=\{H,T\}$,掷骰子 $S=\{1,2,3,4,5,6\}$
  • 不可数的:气温 $S=\{t: t_0 \leq t \leq t_1\}$(实数区间)

事件

事件(Event)$A$:样本空间 $S$ 中具有共同特征的基本结果所组成的集合。数学上,事件等同于集合。

基本关系:基本结果 $\subseteq$ 事件 $\subseteq$ 样本空间

2.3 集合运算
事件的运算与集合律
运算符号含义
交集$A \cap B$$A$$B$ 同时发生
并集$A \cup B$$A$$B$(或两者)发生
补集$A^c$不在 $A$ 中的基本结果
$A - B = A \cap B^c$$A$ 中但不在 $B$

关键概念:

  • 互斥(互不相交):$A \cap B = \varnothing$
  • 完全穷尽(划分):$\cup_{i=1}^n A_i = S$
  • 完全穷尽且互斥的事件集构成样本空间的一个分割(partition),可类比为正交基的完备集
德摩根律$(A \cup B)^c = A^c \cap B^c$$(A \cap B)^c = A^c \cup B^c$。这是概率计算中经常使用的恒等变换。
2.4 概率空间的公理化
$\sigma$ 代数、概率函数与概率空间

仅用集合运算描述事件还不够——我们需要对事件赋予概率,这要求事件的集合必须构成一个适合概率运算的结构:$\sigma$ 代数。

$\sigma$ 代数($\sigma$ 域)$\mathcal{B}$

$\mathcal{B}$ 是样本空间 $S$ 中满足以下条件的子集(事件)的集合:

  1. $\varnothing \in \mathcal{B}$(空集封闭)
  2. $A \in \mathcal{B}$,则 $A^c \in \mathcal{B}$(对补集封闭)
  3. $A_1, A_2, \cdots \in \mathcal{B}$,则 $\cup_{i=1}^{\infty} A_i \in \mathcal{B}$(对可数并集封闭)

$(S, \mathcal{B})$ 构成可测空间$\mathcal{B}$ 是概率函数的定义域。

概率函数 $P: \mathcal{B} \to [0,1]$

满足以下条件的映射:

  1. $0 \leq P(A) \leq 1$(非负性)
  2. $P(S) = 1$(规范性)
  3. $A_1, A_2, \cdots$ 互斥,则 $P(\cup_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} P(A_i)$(可数可加性)

概率空间 $(S, \mathcal{B}, P)$

概率空间是一个三元组合

  • $S$:随机试验的样本空间
  • $\mathcal{B}$$S$ 的子集(事件)构成的 $\sigma$
  • $P: \mathcal{B} \to [0,1]$:概率测度(概率函数)

这个三元组完整描述了随机试验的概率法则。

概率的解释
  • 相对频率解释:大量重复试验时结果发生的比例趋于概率。"降水概率 30%"意味着在相同天气条件下,长期记录中约 30% 的类似日子会下雨。
  • 主观概率解释:事件发生的主观可能性——用于难以重复的事件(如分析师预测股票)。这引出了金融学中风险中性概率的概念。
基本概率法则
法则公式
补公式$P(A) = 1 - P(A^c)$
单调性$A \subseteq B \Rightarrow P(A) \leq P(B)$
包含-排除公式$P(A \cup B) = P(A) + P(B) - P(A \cap B)$
次可加性(布尔不等式)$P(\cup_i A_i) \leq \sum_i P(A_i)$
课件对应
PDF概率函数定义(第2章 第34页)p.34
正在渲染 PDF 第 34 页…
概率函数定义(第2章 第34页)(PDF 第 34 页) · 打开原文
2.5 计数方法
组合数学工具箱
抽样方式有序否放回否计数公式
(1) 排列有序不放回$P_{n,r} = \frac{n!}{(n-r)!}$
(2) 组合无序不放回$C_n^r = \binom{n}{r} = \frac{n!}{r!(n-r)!}$
(3) 重复排列有序放回$n^r$
(4) 重复组合无序放回$C_{r+n-1}^r$
生日问题

$k$ 人班级至少两人生日相同的概率:

$$P(A) = 1 - \frac{365!}{(365-k)! \cdot 365^k}$$
$k$(人数)20304050
$P(A)$0.4110.7060.8910.970

仅需 30 人,超过 70% 概率就有相同生日——这违反了直觉,但排列组合计算确认无误。

例:硬币抛掷

抛 10 枚均匀硬币恰好 3 次正面的概率:

$$P(X=3) = \binom{10}{3} \left(\frac{1}{2}\right)^3 \left(\frac{1}{2}\right)^7 = \frac{120}{1024} \approx 0.1172$$

其中 $\binom{10}{3} = 120$ 是从 10 次抛掷中选出恰好 3 次正面(不计顺序)的方法数。

2.6 条件概率
利用信息更新概率

条件概率定义

给定事件 $B$$P(B) > 0$),事件 $A$ 的条件概率:

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

条件概率描述的是 $B$ 已发生时对 $A$预测关系,而非因果关系。因果关系需要经济理论来刻画。

条件概率 $P(A \mid B)$ 本身也满足概率函数的所有公理——$(S \cap B, \mathcal{B} \cap B, P(\cdot \mid B))$ 构成一个完整的概率空间。

乘法法则

$$P(A \cap B) = P(A \mid B) P(B) = P(B \mid A) P(A)$$

$n$ 个事件:$P(\cap_{i=1}^n A_i) = P(A_1) \cdot P(A_2 \mid A_1) \cdot P(A_3 \mid A_1 \cap A_2) \cdots$

全概率公式

$A_1, \cdots, A_n$ 互斥且完全穷尽,$P(A_i) > 0$,则对任意事件 $B$

$$P(B) = \sum_{i=1}^n P(B \mid A_i) P(A_i)$$

意义:将复杂事件 $B$ 的概率分解为若干互斥情形下的条件概率之和。

2.7 贝叶斯定理
从结果反推原因的逆概率推理框架

贝叶斯定理

$$P(A_i \mid B) = \frac{P(B \mid A_i) P(A_i)}{\sum_{j=1}^n P(B \mid A_j) P(A_j)}$$

其中 $P(A_i)$先验概率(prior)——获得 $B$ 信息之前对原因的判断;$P(A_i \mid B)$后验概率(posterior)——获得 $B$ 信息之后的修正判断。

全概率公式与贝叶斯公式典型例题
应用:汽车保费问题

高风险 $P(H)=0.25$,中风险 $P(M)=0.25$,低风险 $P(L)=0.5$。收到超速罚单条件下高风险的概率:

$$P(H \mid B) = \frac{0.25 \times 0.25}{0.25 \times 0.25 + 0.16 \times 0.25 + 0.10 \times 0.5} \approx 0.41$$

从先验 $0.25$ 更新到后验 $0.41$——罚单信息显著提高了高风险判断的概率,保险公司据此可以调整保费定价。

例题:红蓝球的次品率

箱子中有 60% 的红球、40% 的蓝球。红球中有一半是次品,蓝球中有 10% 是次品。

(1)随机取一球,求取到次品的概率。

$A$ 为「取到红球」,$B$ 为「取到次品」。由全概率公式:

$$P(B) = P(B \mid A)P(A) + P(B \mid \bar{A})P(\bar{A}) = 0.5 \times 0.6 + 0.1 \times 0.4 = 0.34$$

(2)已知取到的是次品,求它是蓝球的概率。

由贝叶斯公式:

$$P(\bar{A} \mid B) = \frac{P(B \mid \bar{A})P(\bar{A})}{P(B)} = \frac{0.1 \times 0.4}{0.34} = \frac{2}{17}$$

例 3:三人考核的通过率

三名员工(猴博士、傻狍子、沙垃鸡)被选中的概率各为 $\frac{1}{3}$,通过率分别为 99%、3%、30%。

(1)随机选一人考核,求通过的概率。

$E_1, E_2, E_3$ 分别为选中三人,$T$ 为「通过」。由全概率公式:

$$P(T) = \sum_{i=1}^{3} P(T \mid E_i)P(E_i) = \frac{1}{3}(0.99 + 0.03 + 0.30) = 0.44$$

(2)已知某人通过了考核,求他是傻狍子的概率。

由贝叶斯公式:

$$P(E_2 \mid T) = \frac{P(T \mid E_2)P(E_2)}{P(T)} = \frac{\frac{1}{3} \times 0.03}{0.44} = \frac{1}{44}$$

尽管三人的先验概率相同,但由于傻狍子通过率极低(3%),在已知通过的条件下,他是傻狍子的后验概率仅为 $\frac{1}{44}$——观察数据大幅修正了先验判断。

课件对应
PDF条件概率定义(第2章 第82页)p.82
正在渲染 PDF 第 82 页…
条件概率定义(第2章 第82页)(PDF 第 82 页) · 打开原文
·
PDF贝叶斯定理(第2章 第92页)p.92
正在渲染 PDF 第 92 页…
贝叶斯定理(第2章 第92页)(PDF 第 92 页) · 打开原文
2.8 独立性
事件之间最强的"无关系"

独立性的定义

$P(A \cap B) = P(A)P(B)$,则 $A$$B$ 相互独立

等价条件:$P(A \mid B) = P(A)$——一个事件发生不影响另一个的概率。

注意:独立性与互斥是不同的概念。互斥事件($A \cap B = \varnothing$)一定不独立,因为通常 $P(A) > 0, P(B) > 0$,而 $P(A)P(B) > 0 = P(A \cap B)$

例题:互斥且独立

题目:已知事件 $A$$B$ 互斥且独立,则下列一定成立的是( )

  • A. $P(A) = P(B) = 0.5$
  • B. $P(A \cap B) = 1$
  • C. $P(A \cup B) = 1$
  • D. $P(A) = 0$$P(B) = 0$
  1. 互斥条件$P(A \cap B) = 0$
  2. 独立条件$P(A \cap B) = P(A) \cdot P(B)$
  3. 联立$P(A) \cdot P(B) = 0$,故至少一个概率为 0

答案:D

核心洞察:互斥要求交集为空,独立要求交集概率等于乘积。同时满足两者的唯一可能就是至少一个事件不可能发生——这也是为什么我们通常说非零概率的互斥事件一定不独立。
复习速查
核心公式速查表
概念公式
条件概率$P(A \mid B) = P(A \cap B) / P(B)$
乘法法则$P(A \cap B) = P(A \mid B) P(B)$
全概率公式$P(B) = \sum_i P(B \mid A_i) P(A_i)$
贝叶斯定理$P(A_i \mid B) = \frac{P(B \mid A_i) P(A_i)}{\sum_j P(B \mid A_j) P(A_j)}$
独立条件$P(A \cap B) = P(A)P(B)$
组合数$C_n^x = \frac{n!}{x!(n-x)!}$
排列数$P_{n,x} = \frac{n!}{(n-x)!}$