zoukankan      html  css  js  c++  java
  • 【1】通过生活的现象来观察大数定律以及中心极限定理

    【1】通过生活的现象来观察大数定律以及中心极限定理

    这篇文章很早便完成了,期间我又写了小十篇“晦涩的科普“,反复回味的过程中我也不禁反思,除了让大家认识到了数学专业的枯燥意外,读者是否有其他收获?我看过一本书中曾写道,不怕别人不知道,怕的是你不知道他不知道。这句话在我实习以及和人交流技术心得的时候令我感触尤深。

    于是,我又开始着手于重构我的文章。在我眼中,我的文章有很多闪光点,例如说把知识的层次解构,由浅极深的讲解一个复杂的定理,并且反复推敲定理的证明过程,力求精确以及通顺。但大家似乎并不感冒,用大白话来讲解一个定理似乎是读者们所喜闻乐见的,毕竟在信息碎片的时代,不是所有人都有时间来思考这些虚无缥缈的东西。

    写作要求作者整理自己的思绪并且善于表达,所以善于写作的人一定善于思考。可读者不然,因为阅读不需求任何批判性思维:若不从作者本身的可信度到每一个用词时时盯防,读者也许就会盲目的听信一个对自己空弹琴的人。某种程度上,这样的读者是牺牲品;用自己的时间和脑容量,为一个本没有意义并随即消逝的思想提供了生存空间。

    还是希望,为数不多的读者们在我这里能够有所思考,有所收获,共同沉浸在这个逻辑的世界里。

    2020/2/22重写本文时瞎jb唠唠。

    在我们学习数学分析的时候,曾经遇到过无穷级数这个概念。对于有限部分和的求解是十分困难的,而当我们把尺度上升到无穷个,则问题反而被简化,例如:

    [lim_{n oinfty}(1+x+frac{x^2}{2!}+cdots+frac{x^n}{n!})=lim_{n oinfty}sum_{i=1}^{n}frac{x^i}{i!}=e^x ]

    在概率统计世界中,也有类似的现象,用数学的语言来表述,我们可以抽象出两类问题:

    • 随着试验次数增加,事件的频率会收敛于概率吗?
    • 若干个随机变量求和,那么这个和的极限会服从什么样的分布规律?

    下面我们就随着前人的脚步一步一步的探索,上面两条真理的逻辑化表述。

    1、频率会收敛于概率吗?

    所谓的大数定理是指,对于一个事件(A),我们设置了(n)次独立试验,每次观测它是否会发生,为此,我们定义一个随机变量(X_i,(i=1,2,dots,n)),所以在这(n)次实验中,我们可以记事件一共发生了”(X_1+X_2+dots+X_n)“次。

    若按照我们熟知的”频率会趋近于概率“,我们可以得出下式:

    [P(A)=lim_{n oinfty}p_n=lim_{n oinfty}frac{X_1+X_2+dots+X_n}{n}=lim_{n oinfty}overline{X}_n ]

    如果用更加生活化的语言来解释,我们可以想象,对于一个地区的平均收入,如果我们仅仅去调查某一个人的收入,他可能和真实的平均收入相祛甚远,而当我们统计了一万个人的收入后取其算术平均值,则该均值距离整体平均收入的偏差会小很多。而大数定律则对这一条生活中的规律从理论的高度做了概括与论证。

    伯努利大数定理

    • (X_1,X_2,dots,X_n,dots)是独立同分布的随机变量,记他们的公共均值为(a),又设他们的方差存在并记为(sigma^2),则对任意给定的(varepsilon>0),有,

    [lim_{n oinfty}P(|frac{1}{n}sum_{i=1}^{n}X_i-a|gevarepsilon)=0(伯努利大数定理) ]

    称为“ (overline{X}_n) 依概率收敛于 a ”,为了证明上述定理,我们需要引入马尔可夫概率不等式

    (马尔可夫不等式)
    • 若Y为非负随机变量,则对任给常数(varepsilon >0),有

    [P(Ygevarepsilon)lefrac{E(Y)}{varepsilon} (马尔可夫不等式)\ ]

    证明:

    [egin{align} &ecause E(Y)=int_0^infty yf(y)dygeint_varepsilon^infty yf(y)dygevarepsilonint_varepsilon^infty f(y)dy=varepsilon P(Ygevarepsilon)\ end{align}\ ]

    (切比雪夫不等式)
    • 若Var(Y)存在,则:

    [P(|Y-EY|gevarepsilon)lefrac{Var(Y)}{varepsilon^2}(切比雪夫不等式)\ ]

    证明,由马尔可夫不等式:

    [egin{align} P(Ygevarepsilon)leq& frac{E(Y)}{varepsilon}\ P([Y-EY]^2gevarepsilon^2)leq& frac{E([Y-EY]^2)}{varepsilon^2}\ end{align}\ ]

    到注意(P(|y|>a)=P(y^2>a)),因此

    [P(Ygevarepsilon)leqfrac{E([Y-EY]^2)}{varepsilon^2}=frac{Var(Y)}{varepsilon^2}\ ]

    • 可看到切比雪夫不等式实际上是马尔可夫不等式的一个特例 ; )

    由上式,设(frac{1}{n}sum_{i=1}^{n}X_i=overline{X}_n),可以证明:

    [egin{align} lim_{n oinfty}P(|frac{1}{n}sum_{i=1}^{n}X_i-a|gevarepsilon) &=lim_{n oinfty}P(|overline{X}_n-a|gevarepsilon)\ (Chebyshev)&leqlim_{n oinfty}frac{Var(overline X_n)}{varepsilon^2}\ (对于独立同分布的变量和的方差=方差之和)&=lim_{n oinfty}frac{1}{n^2varepsilon^2}sum_{i=1}^{n}Var(X_i)\ &=frac{1}{n^2varepsilon^2}(nsigma^2)\ (当n oinfty时)&=frac{sigma^2}{nvarepsilon^2} o0 end{align} ]

    • 这是最早的一个大数定理——伯努利(Bernoulli)大数定理(1713),这既是我们常说的“频率收敛于概率”。

    [lim_{n oinfty}P(|p_n-p|geqvarepsilon)=0 ]

    在生活中”定理“、”定律“、”定则“似乎有着同样的含义,但是在科学中,一般”定理“代表着能够通过严格的数学工具证明的理论事实,而”定律“则是一些”显而易见“却很难去证明的理论。

    2、和的极限分布?

    大数定律是讨论在什么条件下,随机变量序列的算术平均依概率收敛到其均值的算术平均,而中心极限定理则是讨论在什么样的条件下,独立随机变量和:

    [Y_n=sum_{i=1}^nX_i ]

    的分布函数会收敛于正态分布。

    卷积公式

    [egin{align} p_X(x)*p_Y(y)::=p_Z(z) =&int_{-infty}^infty p_X(z-y)p_Y(y)dy\ =&int_{-infty}^infty p_X(x)p_Y(z-x)dx end{align} ]

    (Lindeberg-Lévy) 中心极限定理

    (X_1.X_2,dots,X_n,dots)为独立同分布的随机变量序列,(E(X_i)=a,Var(X_i)=sigma^2(0<sigma<infty))。则对任何实数 (x) ,有:

    [egin{align} Phi(x)&=lim_{n oinfty}Pleft(frac{1}{sqrt nsigma}(sum_{i=1}^nX_i-na)leq x ight) =frac{1}{sqrt{2pi}}int_{-infty}^x e^{-t^2/2}dt\ end{align} ]

    证明:

    (X_1,X_2,dots,X_n)为n个独立同分布随机变量,(X_i hicksim N(mu,sigma^2)),不妨设(Y_i=X_i-mu,)那么(Y_i hicksim N(0,sigma^2)),设(Y_i)的特征函数为(varphi(t))

    设随机变量(eta=frac{Y_1+Y_2+dots+Y_n}{sigmasqrt{n}}),由(varphi_{X+Y}(t)=varphi_{X}(t)varphi_{Y}(t)),则(eta)的特征函数为:

    [[varphi(frac{t}{sqrt{n}sigma})][varphi(frac{t}{sqrt{n}sigma})]dots[varphi(frac{t}{sqrt{n}sigma})]=[varphi(frac{t}{sqrt{n}sigma})]^n ]

    (varphi(frac{t}{sqrt{n}sigma}))在0点(Taylor)展开,

    [egin{align} varphi(frac{t}{sqrt{n}sigma}) &=varphi(0)+varphi'(0)(frac{t}{sqrt{n}sigma})+frac{varphi''(0)}{2!}(frac{t}{sqrt{n}sigma})^2+o((frac{t}{sqrt{n}sigma})^2)\ &=1+frac{imu t}{sqrt{n}sigma}-frac{(sigma^2+mu)t^2}{2nsigma^2}+o((frac{t}{sqrt{n}sigma})^2)\ &=1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)\ herefore[varphi(frac{t}{sqrt{n}sigma})]^n&=[1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)]^n\ &=[1-frac{t^2}{2n}+o((frac{t}{sqrt{n}sigma})^2)]^{(-frac{2n}{t^2})(-frac{t^2}{2})}\ lim_{n oinfty}[varphi(frac{t}{sqrt{n}sigma})]^n&=e^{-frac{t^2}{2}} end{align} ]

    因此(eta hicksim N(0,1))服从标准正态分布。

  • 相关阅读:
    jsp学习笔记(一)
    20170215学习计划
    腾讯云CVM使用记录--使用root权限
    转:ASP.NET MVC3 Model验证总结
    ASP.NET MVC3更新出错:ObjectStateManager中已存在具有同一键的对象
    c#中如何将一个string数组转换为int数组
    转:自定义ASP.NET MVC Html辅助方法
    转:ASP.NET MVC扩展之HtmlHelper辅助方法
    自己用的一个ASP.Net MVC分页拿出来分享下(转)
    MVC分页控件之二,为IQueryable定义一个扩展方法,直接反回PagedList<T>结果集(转)
  • 原文地址:https://www.cnblogs.com/rrrrraulista/p/12255340.html
Copyright © 2011-2022 走看看