(转)样本方差的期望

zoukankan html css js c++ java

(转)样本方差的期望

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：魏天闻
链接：http://www.zhihu.com/question/20099757/answer/26586088
来源：知乎

首先，我们假定随机变量 $X$ 的数学期望 $mu$ 是已知的，然而方差 $sigma^2$ 未知。在这个条件下，根据方差的定义我们有
$mathbb{E}Big[ig(X_i -muig)^2 Big]=sigma^2, quadforall i=1,ldots,n,$

由此可得
$mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2$ .

因此 $frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2$ 是方差 $sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是 $n$ ！
这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量 $X$ 的数学期望 $mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $ar{X}$ 替换掉上面式子中的 $mu$ 。这样做有什么后果呢？后果就是，
如果直接使用 $frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2$ 作为估计，那么你会倾向于低估方差！
这是因为：
$egin{eqnarray} frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 &=& frac{1}{n}sum_{i=1}^nBig[(X_i-mu) + (mu -ar{X}) Big]^2\ &=& frac{1}{n}sum_{i=1}^n(X_i-mu)^2 +frac{2}{n}sum_{i=1}^n(X_i-mu)(mu -ar{X}) +frac{1}{n}sum_{i=1}^n(mu -ar{X})^2 \ &=& frac{1}{n}sum_{i=1}^n(X_i-mu)^2 +2(ar{X}-mu)(mu -ar{X}) +(mu -ar{X})^2 \ &=&frac{1}{n}sum_{i=1}^n(X_i-mu)^2 -(mu -ar{X})^2 end{eqnarray}$
换言之，除非正好 $ar{X}=mu$ ，否则我们一定有
$frac{1}{n}sum_{i=1}^n(X_i-ar{X})^2 <frac{1}{n}sum_{i=1}^n(X_i-mu)^2$ ,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用 $frac{1}{n} sum_{i=1}^nBig(X_i -ar{X}Big)^2$ 会导致对方差的低估。

那么，在不知道随机变量真实数学期望的前提下，如何“正确”的估计方差呢？答案是把上式中的分母 $n$ 换成 $n-1$ ，通过这种方法把原来的偏小的估计“放大”一点点，我们就能获得对方差的正确估计了：
$mathbb{E}Big[frac{1}{n-1} sum_{i=1}^nBig(X_i -ar{X}Big)^2Big]=mathbb{E}Big[frac{1}{n} sum_{i=1}^nBig(X_i -muBig)^2 Big]=sigma^2.$

至于为什么分母是 $n-1$ 而不是 $n-2$ 或者别的什么数，最好还是去看真正的数学证明，因为数学证明的根本目的就是告诉人们“为什么”；暂时我没有办法给出更“初等”的解释了。

=================================下面是证明===============================================

查看全文

相关阅读:
Docker安装Redis
C语言读取Java的字节码文件的第一步
 springdataredis之RedisMessageListenerContainer源码解析
 【转载】logback自定义目录及输出格式
 【转载】springbootdependencies 跟 springbootstarterparent
Docker安装PostgreSQL数据库
 SpringBoot整合Redis实现发布订阅功能实践
 iso 刻录软件 openwrt
python selenium 获取UA 睁yan
cnvd 获取最新cookie （反爬）睁yan

原文地址：https://www.cnblogs.com/yxzfscg/p/4959460.html