概率的公理化定义
为了准确理解与深入研究随机现象,我们不能满足于从直觉出发形成的概率定义(概率的稳定值或可能性大小的个人信念),必须把概率论建立在坚实的数学基础上,科尔莫哥洛夫1933年在《概率论基本概念》一书中用集合论观点和功利化方法成功解决了这个问题。
首先,可以看到事件的关系和集合关系之间存在着重要的联系。我们给出两者之间的对应关系,之后对于事件的研究就转化为对集合的研究。
- 条件 S 下的「事件」就是若干个结果的集合(即 (Sigma) 的子集),所谓观察到事件 A 发生就是指 S 下出现的结果属于 A 。显然,(Sigma) 本身是必然事件,空集 (varnothing) 是不可能事件。
- 如果(Ain Sigma),则(A^c=Omega -A)就是 A 的对立事件 (ar{A})。
- 所谓 A 与 B 不相容就是指(Acap B= varnothing)(即A与B不相交)。
- 事件的并和交分别归结为集合的并和交。
(Sigma) 是任意的非空集合,叫作基本事件空间(样本空间),其背景是条件 S 下所有可能的不同结果的全体(每个结果是一个「基本事件」)
定义1: 设 (mathcal{F}) 是由 (Sigma) 的一些子集组成的集合(这种由集合组成的集合一般叫作集合系),(P=P(cdot)) 是 (mathcal{F}) 上有定义的实值函数。如果定义域 (mathcal{F}) 和函数 P 满足下列条件:
- $Omegainmathcal{F} $
- 若$A inmathcal{F} (,则)A^c=Omega-A inmathcal{F}$
- 若(A_n inmathcal{F} (n=1,2,...)),则 $igcup_{n=1}^infty A_n inmathcal{F} $
- (P(A)ge 0 (Ain mathcal{F} ))
- (P(Omega)=1)
- 若(A_n inmathcal{F} (n=1,2,..))且两两不相交,则(P(igcup_{n=1}^infty A_n)=sum_{n=1}^infty P(A_n))
那么称 (P) 是 (mathcal{F}) 上的概率测度(简称概率),( P(A)) 为 (A) 的概率(也称 (A) 发生的概率)。附有 (mathcal{F}) 和 (P) 的 (Omega) 叫作概率空间,有时也说 ((Omega, mathcal{F}, P)) 是概率空间。
定义2: 设 (mathcal{F}) 是由 (Omega) 的一些子集组成的集合,具有上述 1-3 的性质,则称 (mathcal{F}) 是 (Omega) 中的 (sigma) 域(或 (sigma) 代数)。
其中前三条构成的集合称为 (sigma) 域;而后三条,即非负性、完全性、可列可加性则是概率的公理化定义。
补充定义(测度):设(mathcal{F})是由(Omega)的一些子集组成的集合,(varnothinginmathcal{F}),称(mathcal{F})上有定义的函数(mu=mu(cdot))为测度,如果它满足:
- (0lemu(A)le+infty)
- (mu(varnothing)=0)
- 若(A_n inmathcal{F} (n=1,2,...))两两不相交且 (igcup_{n=1}^infty A_ninmathcal{F}),则(mu(igcup_{n=1}^infty A_n)=sum_{n=1}^infty mu(A_n))
可以看到,我们定义的概率测度是一种特殊的测度。
任意指定非空集合 (Omega) 及 (Omega) 中的一些子集组成的 (sigma) 域 (mathcal{F}) 以及(mathcal{F}) 上有定义的概率 P ,所得到的三元组 ((Omega, mathcal{F}, P)) 是我们研究概率的基础和出发点。
- (前三条)首先指出,(sigma) 域 (mathcal{F}) 关于集合的基本运算是「封闭」的。即,任意个数(有限、可数)集合的交/并仍属于(mathcal{F}),两集合之差也属于(mathcal{F})。
- (后三条)其次,经由上述定义在 (sigma) 域 (mathcal{F}) 上的概率函数 P 有一系列的性质(在此省略)。
随机变量的概念
注意到,随机变量是概率论乃至统计学的核心概念之一,因此以下对这一概念进行进一步的阐释。
在《概率与统计》中,对于随机变量有两种定义(后者更为完全)
定义1: 如果条件 S 下所有可能的结果组成集合 (Omega={omega}), (X=X(omega)) 是 (Omega) 上有定义的实值函数,而且对任何实数 c,事件({omega: X(omega)le c}) 是有概率的,则称 X 是随机变量。
定义2: 设((Omega, mathcal{F}, P))是概率空间, (X=X(omega))是(Omega) 上有定义的实值函数,如果对任何实数x,集合({omega: X(omega)le x}) 属于(mathcal{F}),则称X是((Omega, mathcal{F}, P))上的随机变量。
包含两个方面的内容:
- 随机变量 (X=X(omega)) 是基本事件 (omega) 的函数,它体现随机而变
- 虽然(X=X(omega)) 的值不能预先确定(因为无法预料将出现什么样的 (X=X(omega)) ,但是对给定的 x,事件({omega: X(omega)le x}) 是有确定概率的,这体现了随机变量的一种「规则性」
最后,给出 wiki 上的定义作为参考:
A random variable is a measurable function (X: Omega ightarrow E) from a set of possible outcomes (Omega) to a measurable space (E). The technical axiomatic definition requires (Omega) to be a sample space of a probability triple (see the measure-theoretic definition).
The probability that (X) takes on a value in a measurable set ({displaystyle Ssubseteq E}) is written as
({displaystyle operatorname {P} (Xin S)=operatorname {P} ({omega in Omega mid X(omega )in S})}),
where ${displaystyle operatorname {P} } $ is the _probability measure_on ({displaystyle (Omega ,{mathcal {F}})}).
在这样严格定义的随机变量的概念下,用分布函数来刻画随机变量的概率特性:
定义:设 (X=X(omega))是随机变量,称函数
为 (X) 的分布函数,有时记为 (F_X(x))。
由此定义的分布函数有以下三条性质
- 单调性:若(a<b),则 (F(a)le F(b))
- (underset{x ightarrow -infty}{lim}F(x)=0, underset{x ightarrow +infty}{lim}F(x)=1)
- 右连续性:(underset{delta ightarrow 0+}{lim}F(x+delta)=F(x))
后两条的证明可考虑事件并公式,注意到右连续性是从分布函数的定义推导出来的,在此基础上,有
- (F(X<x)=F(x-0))
- (F(a<Xle b)=F(b)-F(a))
- (F(ale Xle b)=F(b)-F(a)-0)
- (F(a<X< b)=F(b-0)-F(a))