zoukankan      html  css  js  c++  java
  • (转)样本方差的期望

    著作权归作者所有。
    商业转载请联系作者获得授权,非商业转载请注明出处。
    作者:魏天闻
    链接:http://www.zhihu.com/question/20099757/answer/26586088
    来源:知乎

    首先,我们假定随机变量X的数学期望mu是已知的,然而方差sigma^2未知。在这个条件下,根据方差的定义我们有
    mathbb{E}Big[ig(X_i -muig)^2 Big]=sigma^2, quadforall i=1,ldots,n,

    由此可得
    mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2.

    因此frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 方差sigma^2的一个无偏估计,注意式中的分母不偏不倚正好是n
    这个结果符合直觉,并且在数学上也是显而易见的。

    现在,我们考虑随机变量X的数学期望mu是未知的情形。这时,我们会倾向于无脑直接用样本均值ar{X}替换掉上面式子中的mu。这样做有什么后果呢?后果就是,
    如果直接使用frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2 作为估计,那么你会倾向于低估方差!
    这是因为:
    egin{eqnarray}
frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 &=&
frac{1}{n}sum_{i=1}^nBig[(X_i-mu) + (mu -ar{X}) Big]^2\
&=&
frac{1}{n}sum_{i=1}^n(X_i-mu)^2 
+frac{2}{n}sum_{i=1}^n(X_i-mu)(mu -ar{X})
+frac{1}{n}sum_{i=1}^n(mu -ar{X})^2 \
&=&
frac{1}{n}sum_{i=1}^n(X_i-mu)^2 
+2(ar{X}-mu)(mu -ar{X})
+(mu -ar{X})^2 \
&=&frac{1}{n}sum_{i=1}^n(X_i-mu)^2 
-(mu -ar{X})^2 
end{eqnarray}
    换言之,除非正好ar{X}=mu,否则我们一定有
    frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 <frac{1}{n}sum_{i=1}^n(X_i-mu)^2 ,
    而不等式右边的那位才是的对方差的“正确”估计!
    这个不等式说明了,为什么直接使用frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2 会导致对方差的低估。

    那么,在不知道随机变量真实数学期望的前提下,如何“正确”的估计方差呢?答案是把上式中的分母n换成n-1,通过这种方法把原来的偏小的估计“放大”一点点,我们就能获得对方差的正确估计了:
    mathbb{E}Big[frac{1}{n-1} sum_{i=1}^nBig(X_i -ar{X}Big)^2Big]=mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2.

    至于为什么分母是n-1
而不是n-2或者别的什么数,最好还是去看真正的数学证明,因为数学证明的根本目的就是告诉人们“为什么”;暂时我没有办法给出更“初等”的解释了。
     
    =================================下面是证明===============================================

  • 相关阅读:
    电子商务运营模式
    PHP 常用资源
    Ajax 常用资源
    java 常用资源
    Net 常用资源
    Web App 响应式页面制作 笔记整理
    移动端click事件延迟300ms该如何解决
    阻止冒泡事件
    关于jquery stopPropagation()阻止冒泡事件
    集算器如何处理类文本数据计算
  • 原文地址:https://www.cnblogs.com/yxzfscg/p/4959460.html
Copyright © 2011-2022 走看看