【1】通过生活的现象来观察大数定律以及中心极限定理
这篇文章很早便完成了,期间我又写了小十篇“晦涩的科普“,反复回味的过程中我也不禁反思,除了让大家认识到了数学专业的枯燥意外,读者是否有其他收获?我看过一本书中曾写道,不怕别人不知道,怕的是你不知道他不知道。这句话在我实习以及和人交流技术心得的时候令我感触尤深。
于是,我又开始着手于重构我的文章。在我眼中,我的文章有很多闪光点,例如说把知识的层次解构,由浅极深的讲解一个复杂的定理,并且反复推敲定理的证明过程,力求精确以及通顺。但大家似乎并不感冒,用大白话来讲解一个定理似乎是读者们所喜闻乐见的,毕竟在信息碎片的时代,不是所有人都有时间来思考这些虚无缥缈的东西。
写作要求作者整理自己的思绪并且善于表达,所以善于写作的人一定善于思考。可读者不然,因为阅读不需求任何批判性思维:若不从作者本身的可信度到每一个用词时时盯防,读者也许就会盲目的听信一个对自己空弹琴的人。某种程度上,这样的读者是牺牲品;用自己的时间和脑容量,为一个本没有意义并随即消逝的思想提供了生存空间。
还是希望,为数不多的读者们在我这里能够有所思考,有所收获,共同沉浸在这个逻辑的世界里。
2020/2/22重写本文时瞎jb唠唠。
在我们学习数学分析的时候,曾经遇到过无穷级数这个概念。对于有限部分和的求解是十分困难的,而当我们把尺度上升到无穷个,则问题反而被简化,例如:
[lim_{n oinfty}(1+x+frac{x^2}{2!}+cdots+frac{x^n}{n!})=lim_{n oinfty}sum_{i=1}^{n}frac{x^i}{i!}=e^x ]在概率统计世界中,也有类似的现象,用数学的语言来表述,我们可以抽象出两类问题:
- 随着试验次数增加,事件的频率会收敛于概率吗?
- 若干个随机变量求和,那么这个和的极限会服从什么样的分布规律?
下面我们就随着前人的脚步一步一步的探索,上面两条真理的逻辑化表述。
1、频率会收敛于概率吗?
所谓的大数定理是指,对于一个事件(A),我们设置了(n)次独立试验,每次观测它是否会发生,为此,我们定义一个随机变量(X_i,(i=1,2,dots,n)),所以在这(n)次实验中,我们可以记事件一共发生了”(X_1+X_2+dots+X_n)“次。
若按照我们熟知的”频率会趋近于概率“,我们可以得出下式:
如果用更加生活化的语言来解释,我们可以想象,对于一个地区的平均收入,如果我们仅仅去调查某一个人的收入,他可能和真实的平均收入相祛甚远,而当我们统计了一万个人的收入后取其算术平均值,则该均值距离整体平均收入的偏差会小很多。而大数定律则对这一条生活中的规律从理论的高度做了概括与论证。
伯努利大数定理
- 设(X_1,X_2,dots,X_n,dots)是独立同分布的随机变量,记他们的公共均值为(a),又设他们的方差存在并记为(sigma^2),则对任意给定的(varepsilon>0),有,
称为“ (overline{X}_n) 依概率收敛于 a ”,为了证明上述定理,我们需要引入马尔可夫概率不等式:
(马尔可夫不等式)
- 若Y为非负随机变量,则对任给常数(varepsilon >0),有
证明:
[egin{align} &ecause E(Y)=int_0^infty yf(y)dygeint_varepsilon^infty yf(y)dygevarepsilonint_varepsilon^infty f(y)dy=varepsilon P(Ygevarepsilon)\ end{align}\ ]
(切比雪夫不等式)
- 若Var(Y)存在,则:
证明,由马尔可夫不等式:
[egin{align} P(Ygevarepsilon)leq& frac{E(Y)}{varepsilon}\ P([Y-EY]^2gevarepsilon^2)leq& frac{E([Y-EY]^2)}{varepsilon^2}\ end{align}\ ]到注意(P(|y|>a)=P(y^2>a)),因此
[P(Ygevarepsilon)leqfrac{E([Y-EY]^2)}{varepsilon^2}=frac{Var(Y)}{varepsilon^2}\ ]
- 可看到切比雪夫不等式实际上是马尔可夫不等式的一个特例 ; )
由上式,设(frac{1}{n}sum_{i=1}^{n}X_i=overline{X}_n),可以证明:
- 这是最早的一个大数定理——伯努利(Bernoulli)大数定理(1713),这既是我们常说的“频率收敛于概率”。
在生活中”定理“、”定律“、”定则“似乎有着同样的含义,但是在科学中,一般”定理“代表着能够通过严格的数学工具证明的理论事实,而”定律“则是一些”显而易见“却很难去证明的理论。
2、和的极限分布?
大数定律是讨论在什么条件下,随机变量序列的算术平均依概率收敛到其均值的算术平均,而中心极限定理则是讨论在什么样的条件下,独立随机变量和:
的分布函数会收敛于正态分布。
卷积公式
[egin{align} p_X(x)*p_Y(y)::=p_Z(z) =&int_{-infty}^infty p_X(z-y)p_Y(y)dy\ =&int_{-infty}^infty p_X(x)p_Y(z-x)dx end{align} ]
(Lindeberg-Lévy) 中心极限定理
设(X_1.X_2,dots,X_n,dots)为独立同分布的随机变量序列,(E(X_i)=a,Var(X_i)=sigma^2(0<sigma<infty))。则对任何实数 (x) ,有:
证明:
设(X_1,X_2,dots,X_n)为n个独立同分布随机变量,(X_i hicksim N(mu,sigma^2)),不妨设(Y_i=X_i-mu,)那么(Y_i hicksim N(0,sigma^2)),设(Y_i)的特征函数为(varphi(t)),
设随机变量(eta=frac{Y_1+Y_2+dots+Y_n}{sigmasqrt{n}}),由(varphi_{X+Y}(t)=varphi_{X}(t)varphi_{Y}(t)),则(eta)的特征函数为:
[[varphi(frac{t}{sqrt{n}sigma})][varphi(frac{t}{sqrt{n}sigma})]dots[varphi(frac{t}{sqrt{n}sigma})]=[varphi(frac{t}{sqrt{n}sigma})]^n ]将(varphi(frac{t}{sqrt{n}sigma}))在0点(Taylor)展开,
[egin{align} varphi(frac{t}{sqrt{n}sigma}) &=varphi(0)+varphi'(0)(frac{t}{sqrt{n}sigma})+frac{varphi''(0)}{2!}(frac{t}{sqrt{n}sigma})^2+o((frac{t}{sqrt{n}sigma})^2)\ &=1+frac{imu t}{sqrt{n}sigma}-frac{(sigma^2+mu)t^2}{2nsigma^2}+o((frac{t}{sqrt{n}sigma})^2)\ &=1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)\ herefore[varphi(frac{t}{sqrt{n}sigma})]^n&=[1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)]^n\ &=[1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)]^{(-frac{2n}{t^2})(-frac{t^2}{2})}\ lim_{n oinfty}[varphi(frac{t}{sqrt{n}sigma})]^n&=e^{-frac{t^2}{2}} end{align} ]因此(eta hicksim N(0,1))服从标准正态分布。