一些简单的概率论的基本概念,为了简单起见,本文中提到的所有集合都默认是 有限集 。
事件
单位事件、事件空间、随机事件
在一次随机试验 E 中可能发生的不能再细分的结果被称为 单位事件 。在随机试验中可能发生的所有单位事件的集合称为 事件空间 ,用 S 来表示。
也就是说,进行一次随机试验 (E) ,其结果一定符合 (S) 中的恰好一个元素,不可能是零个或多个。例如在一次掷骰子的随机试验中,如果用获得的点数来表示单位事件,那么一共可能出现 6 个单位事件,则事件空间可以表示为 (S = {1,2,3,4,5,6}) 。
一个 随机事件 是事件空间 (S) 的子集,它由事件空间 (S) 中的单位元素构成,用大写字母 (A,B,Cdots) 表示。例如在掷两个骰子的随机试验中,设随机事件 (A) 为“获得的点数和大于 10 ”,则 (A) 可以由下面 3 个单位事件组成: (A = {(5,6),(6,5),(6,6)}) 。
事件的计算
因为事件在一定程度上是以集合的含义定义的,因此可以把事件当作集合来对待。
和事件 :相当于 并集 。若干个事件中只要其中之一发生,就算发生了它们的和事件。
积事件 :相当于 交集 。若干个事件必须全部发生,才算发生了它们的积事件。
概率
定义
古典定义
如果一个试验满足两个条件:
- 试验只有有限个基本结果。
- 试验的每个基本结果出现的可能性是一样的。
这样的试验便是古典试验。 对于古典试验中的事件 (A) ,它的概率定义为 (P(A) = frac{m}{n}) ,其中 (n) 表示该试验中所有可能出现的基本结果的总数目, (m) 表示事件 (A) 包含的试验基本结果数。
统计定义
如果在一定条件下,进行了 (n) 次试验,事件 (A) 发生了 (N_A) 次,如果随着 (n) 逐渐增大,频率 (frac{N_A}{n}) 逐渐稳定在某一数值 (p) 附近,那么数值 (p) 称为事件 (A) 在该条件下发生的概率,记做 (P(A) = p) 。
公理化定义
设 (E) 为随机试验, (S) 为它的样本空间(事件空间的同义词)。对于 (E) 的每一个事件 (A) 赋予一个实数,记为 (P(A)),称为事件 (A) 的概率。这里 (P(A)) 是一个集合从实数的映射, (P(A)) 满足一下公理:
- 非负性:对于一个事件 (A),有概率 (P(A) in lbrack0,1 brack)。
- 规范性:样本空间的概率值为 1,即 (P(S) = 1)。
- 可加性:若 (A cap B = emptyset), 则 (P(A cup B) = P(A) + P(B))。
由 ((S,P)) 构成的这样一个系统称为一个 概率空间。
计算
- 广义加法公式:对于任意两个事件 (A,B), (P(A cup B) = P(A) + P(B) - P(A cap B))。
- 条件概率:记 (P(B mid A)) 表示在 (A) 事件发生的前提直线, (B) 事件发生的概率。则 (P(B mid A) = frac{P(AB)}{P(A)})(其中 (P(AB)) 为事件 (A) 和事件 (B) 同时发生的概率)。
- 乘法公式:(P(AB) = P(A) cdot P(B mid A) = P(B) cdot P(A mid B))
- 全概率公式:若事件 (A_!,A_2,A_3.dots,A_n) 构成一组完备的事件且都有正概率,即 $forall i,j,A_i cap A_j = emptyset $ 且 (sum_{i = 1}^n A_i = 1), 则有 (P(B) = sum_{i=1} ^nP(A_i)P(B mid A_i))。
- 贝叶斯定理:(P(B_i mid A) = dfrac{P(B_i) P(A mid B_i)}{sum_{j = 1}^n P(B_j) P(A mid B_j)})
随机变量
直观地说,一个随机变量,是一个取值由随机事件决定的变量。
如果基于概率的公理化定义,那么一个随机变量——形式化地说——是一个从样本空间 (S) 到实数集 (mathbb{R}) (或者 (mathbb{R}) 的某个子集)的映射 (X) 。如果 (X(A) = alpha),你可以直观理解为:当随机实验 (E) 取结果 (A) 时,该随机变量取值 (alpha)。
由此可以看到,“随机变量 (X) 取值 (alpha) ”(简记为 (X = alpha))也对应着一个能实现该命题的单位事件集合,因此它也是一个事件,于是也有与之对应的概率 (P(X = alpha))。
独立性
直观地说,我们认为两个东西独立,当它们在某种意义上互不影响。例如,一个人出生的年月日和他的性别,这两件事是独立的;但一个人出生的年月日和他现在的头发总量,这两件事就不是独立的,因为一个人往往年纪越大头发越少。
数学中的独立性与这种直观理解大体相似,但不尽相同。
随机事件的独立性
我们称两个事件 (A.B) 独立,当 (P(A cap B) = P(A) cdot P(B))。
我们称若干个事件 (A_{1,dots,n}) 互相独立,当对于其中的任何一个子集,该子集中的事件同时发生的概率,等于其中每个事件发生的概率的乘积。形象化的说:
由此可见,若干事件 两两独立 和 互相独立 是不同的概念。
随机变量的独立性
一下用 (I(X)) 表示随机变量 (X) 的取值范围。即,如果把 (X) 看做一个映射,则 (I(X)) 看做它的值域。
我们称两个随机变量 (X,Y) 独立,当 (P((X = alpha) cap (Y = eta)) = P(X = alpha) P(Y = eta)), (forall alpha in I(x), eta in I(Y)),即 ((X,Y)) 取任意一组值得概率,等于 (X) 和 (Y) 分别取对应值得概率的乘积。
我们称若干个随机变量 (X_{1,dots,n}) 互相独立,当 ((X_1,X_2,dots,X_n)) 取任意一组值得概率,等于每个 (X_i) 分别取对应值的概率的乘积。形式化的说:
由此可见,若干随机变量 两两独立 和 互相独立 是不同的概念。
期望
定义
如果一个随机变量的取值个数有限(比如一个表示骰子示数的随机变量),或可能的取值可以一一列举出来(比如取值范围为全体正整数),则它称为 离散型随机变量 。
形式化地说,一个随机变量被称为离散型随机变量,当它的值域大小 有限 或者为 可列无穷大 。
一个离散性随机变量 (X) 的 数学期望 是其每个取值乘以该取值对应概率的总和,记为 $E(X) $。
其中 (I(X)) 表示随机变量 (X) 的值域,(S) 表示 (X) 所在概率空间的样本集合。
请读者自行验证连等式中的第二个等号。
性质
- 全期望公式: (displaystyle E(Y) = sum_{alpha in I(X)} P(X = alpha) cdot E(Y mid (X = alpha))), 其中 (X,Y) 是随机变量,$E(Y mid A) $ 是在 (A) 条件成立下 (Y) 的期望(即“条件期望”)。可由全概率公式证明。
- 期望的线性性 :对于任意两个随机变量 (X.Y) (不要求相互独立),有 (E(X+Y) = E(X) + E(Y)) 。利用这个性质,可以将一个变量拆分成若干个互相独立的变量,分别求这些变量的期望值,最后相加得到所求变量的值。
- 乘积的期望 : 当两个随机变量 (X,Y) 相互独立时,有 (E(X,Y) = E(X) cdot E(Y)) 。
常用的套路以及技巧
(displaystyle sum_{i = 0}^n x^i = frac{1 - x^{n + 1}}{1 - x})
当 (n ightarrow infty) 时 (displaystyle sum_{i = 0}^{infty}x^i = frac{1}{1 - x})。
前缀和技巧
对于离散变量, (P(X = K) = P(X leq K ) - P(x leq k - 1))。
小例题 1
有 (n) 个随机变量 (X_{1,dots,n}),每个随机变量都是从 (lbrack 1,S brack) 中随机一个整数,求 (max(X_{1,dots,n})) 的期望。
小例题 2
概率为 (p) 的事件期望 (dfrac{1}{p}) 次之后发生。
这不是显然吗
拿球问题
典例1
箱子里有 (i) 个球 (1 dots n),你要从里面拿 m 次球,拿了后不放回,求取出的数字之和的期望。
解:
典例2
箱子里有 (i) 个球 (1 dots n),你要从里面拿 m 次球,拿了后放回,求取出的数字之和的期望。
解
高一的时候老师说过放不放回概率是一样的。
所以 (ans = dfrac{m imes (n + 1)}{2})
典例3
箱子里有 (n) 个球 (1 dots n),你要从里边拿 m 次球,拿了之后有 (frac{1}{p_1}) 的概率放回,求取出的球上数子和的期望。
解:
从拿了第一个球和第二个球来看,
如果题目中没有要求有概率放回,如果是典例 1 的那种情况,第一次取得时候每一个球被取中的概率为 (frac{1}{n}),第二次取得时候每个球被取中的概率为 (frac{1}{n - 1})。
如果加上限制,分别看两种情况。
看拿了第一个球之后,放回的概率就是 (frac{1}{p_1}),这个时候再拿第二个球每个球被取中的概率为 (frac{1}{p_1} imes frac{1}{n} = frac{1}{p_1 n})。
我们把不放回的概率设为 (frac{p_1 - 1}{p_1}),如果不放回,取到每一个球的概率就是 (frac{n - 1}{n} imes frac{1}{n - 1}),前后乘起来就是:(frac{p_1 - 1}{p_1 n})。
两种情况算期望的时候为 (P_1 imes i + P_2 imes i),会发现合并起来就是 (frac{1}{n} imes i) ,和上边的一样,所以选 m 次的概率,选中 i 的概率还是 (frac{m}{n})。
$ans = dfrac{m imes {n + 1}}{2} $
游走问题
典例 1
在一条 (n) 个点的链上游走,求从一端走到另一端的概率。
解:
用 (X_i) 表示 (i) 走到 (i + 1) 期望走多少步。
典例 2
在一个 (n) 个点的完全图上游走,求期望走多少步才能走到另一个点。
解:
每个点到其他点的概率都是 (dfrac{1}{n - 1}),所以期望就是 (n - 1) 次成功。
典例 3
在一张 (2 imes n) 个点的完全二分图上游走,求从一个点走到另一个点的概率。
解:
左边等价,右边等价。
- 两点在同侧:(dfrac{1}{n} + dfrac{n - 1}{n} imes (2 + A))。
- 两点在异侧:(1 + A)。
典例 4
在一张 (n) 个点的菊花图上游走,求一个点走到另一个点的概率。
解:
- A.根到叶:(dfrac{1}{n - 1} + dfrac{n - 2}{n - 1} imes (2 + A))。
- B.叶到根:1。
- C.叶到叶:A + 1。
典例 5
在一棵 (n) 个点的树上游走,求从根节点走到 (x) 的期望步数。
解:
(X_i) 表示从 i 点游走,走到 (father_i) 的期望步数,(d_i) 为 i 的入度。
经典问题
典例 1
每次随机取一个 (lbrack 1,n
brack) 的整数,问期望多少次能够凑齐所有的数。
解:
考虑每次取得时候取中以前没取过的数的概率,显然是 (displaystyle sum_{i = 1}^{n} frac{n - i}{n})。
上边那个东西也等于 (displaystyle sum_{i = 1}^n frac{i}{n}),期望就是 (displaystyle sum_{i = 1}^n frac{n}{i}) 。
典例 2
随机一个长度为 (n) 的排列 (p),求 (P_1.dots, P_i) 中的最大值为 (P_i) 的概率。
解:
(displaystyle sum_{i = 1}^n frac{1}{n})。
每个前缀中,最大值都有 i 个位置可以选,所以是 (frac{1}{i})。
典例 3
随机一个长度为 (n) 的排列 (p),求 (i) 在 (j) 后边的概率。
解:
(frac{1}{2}),挺显然的。
典例 4
随机一个长度为 n 的排列 p,求它包含 (w_{i}. i in [1.m]) 为子序列 / 子串的概率。
- 子序列,(n choose m) ( imes dfrac{(n - m)!}{n!} = dfrac{1}{m!}),把他想象好多方块,每个方块都能放一个数,因为是子序列,你就从里边选 (m) 个块,放这个子序列,剩下的可以随便放,挺显然的。
- 子串,(displaystyle (n - m + 1) imes frac{(n - m)!}{n!} = frac{(n - m + 1)!}{n!}),考虑剩下的 (n-m) 个数都放好了,有 (dfrac{(n - m)!}{n!}) 种方案,然后从 (n - m + 1) 个空中任选一个插入长度为 (m) 的子串,就是上边那个式子。