Catalog：
- 弱大数定理 ------ 辛钦大数定理、伯努利大数定理、切比雪夫大数定理
- 中心极限定理、李雅普诺夫(Lyapunov)定理、棣莫弗-拉普拉斯(De Moivre-Laplace)定理
- 常见统计量：样本均值、样本方差、样本k阶矩、样本k阶中心矩、样本偏度系数、样本峰度系数
- 二项式分布
- 泊松分布 ------ Possion分布
- 正态分布 ------ normal(中心极限定理)
- Gamma分布族 ------ gamma函数、指数分布、卡方分布
- Beta分布族
- $F$分布
- 正态总体的样本均值和样本方差的方差
- Z分布族
- 学生氏分布 ------ t分布
- 评估量的平价指标：均方误差、无偏估计、相合性、渐近正态性
- 假设检验 ------ 基本概念、第一类错误、第二类错误、纽曼皮尔逊(Neyman—Pearson)显著性假设检验原则、假设检验的势函数、纽曼-皮尔逊(Neyman-Pearson)基本引理、一致最优势检验
大数定律
辛钦大数定理
设随机变量$X_{1}，X_{2}，cdots $是独立同分布的，且具有数学期望$Eleft ( X_{k} ight )= mu left ( k= 1,2,cdots ight )$。作为前$n$个变量的算数平均$frac{1}{n}sum_{k=1}^{n}X_{k}$，则对于任意$varepsilon > 0$，有：
$lim_{n o infty }Pleft { left |frac{1}{n}sum_{k=1}^{n}X_{k}-mu ight |< varepsilon ight }= 1$
或者称之为：序列$ar{X}= frac{1}{n}sum_{k=1}^{n}X_{k}$依概率收敛于$mu$，即$ar{X}overset{P}{ ightarrow}mu $。
伯努利大数定理
设$f_{A}$是$n$次独立重复实验中事件$A$发生的次数，$p$是事件$A$在每次实验中发生的概率，对于任意$varepsilon > 0$，有：
$lim_{n o infty }Pleft { left |frac{f_{A}}{n}-mu ight |< varepsilon ight }= 1$
Chebyshev大数定律（切比雪夫大数定理）
设随机变量$X_{1}，X_{2}，cdots ，X_{n}$是独立的(不要求同分布)，且随机变量的方差$Dleft ( X_{k} ight )$一致有上界。则有$ar{X}= frac{1}{n}sum_{k=1}^{n}X_{k}$依概率收敛于$frac{1}{n}sum_{k=1}^{n}Eleft (X_{k} ight )$。即：
$frac{1}{n}sum_{k=1}^{n}X_{k} overset{P}{ ightarrow}frac{1}{n}sum_{k=1}^{n}Eleft (X_{k} ight )$
中心极限定理
棣莫弗-拉普拉斯(De Moivre-Laplace)定理是中心极限定理的特殊情况，即分布为二项分布的中心极限定理。李雅普诺夫(Lyapunov)定理引入“二阶以上中心矩的期望和除以方差和”当$n o infty $时，它趋于$0$，以此将同分布推广到不限制分布。
独立同分布的中心极限定理
设随机变量$X_{1}，X_{2}，cdots ，X_{n}，cdots $是独立同分布的，期望和方差分别为：$Eleft ( X_{k} ight )= mu ,Dleft ( X_{k} ight )= sigma ^{2}> 0 left ( k= 1,2,cdots ight )$。则随机变量之和$sum_{k=1}^{n}X_{k}$的标准化变量
$Y_{n}= frac{sum_{k=1}^{n}X_{k}-Eleft ( sum_{k=1}^{n}X_{k} ight )}{sqrt{Dleft ( sum_{k=1}^{n}X_{k} ight )}}= frac{sum_{k=1}^{n}X_{k}-nmu }{sqrt{n}sigma }$
的分布函数$F_{n}left ( x ight )$对任意$x$，有：
$lim_{n o infty } F_{n}left ( x ight )= lim_{n o infty } P left { frac{sum_{k=1}^{n}X_{k}-nmu }{sqrt{n}sigma} leq x ight }\ qquad= int_{-infty }^{x}frac{1}{sqrt{2pi} }e^{-frac{t^{2}}{2}}dt\ qquad= Phi left ( x ight )$
其中是$Phi left ( x ight )$标准正态分布。
李雅普诺夫(Lyapunov)定理
设随机变量$X_{1}，X_{2}，cdots ，X_{n}，cdots $是独立的，期望和方差分别为：$Eleft ( X_{k} ight )= mu_{k} ,Dleft ( X_{k} ight )= sigma_{k} ^{2}> 0 left ( k= 1,2,cdots ight )$，记$B_{n}^{2}= sum_{k=1}^{n} sigma _{k}^{2}$。若存在正数$delta $，使得当时$n o infty $，
$frac{1}{B_{n}^{2+delta }}sum_{k=1}^{n}Eleft { left | X_{k}-mu _{k} ight |^{2+delta } ight } ightarrow 0$
则随机变量之和$sum_{k=1}^{n}X_{k}$的标准化变量
$Y_{n}= frac{sum_{k=1}^{n}X_{k}-Eleft ( sum_{k=1}^{n}X_{k} ight )}{sqrt{Dleft ( sum_{k=1}^{n}X_{k} ight )}}= frac{sum_{k=1}^{n}X_{k}-sum_{k=1}^{n}mu_{k} }{B_{n}}$
的分布函数$F_{n}left ( x ight )$对任意$x$，有：
$lim_{n o infty } F_{n}left ( x ight )= lim_{n o infty } P left { frac{sum_{k=1}^{n}X_{k}-sum_{k=1}^{n}mu _{k} }{B_{n}} leq x ight }\ qquad= int_{-infty }^{x}frac{1}{sqrt{2pi} }e^{-frac{t^{2}}{2}}dt\ qquad= Phi left ( x ight )$
棣莫弗-拉普拉斯(De Moivre-Laplace)定理
设随机变量$eta _{n}left ( n=1,2,cdots ight )$服从参数为$n,pleft ( 0< p< 1 ight )$的二项分布，则对于任意$x$，有：
$lim_{n o infty }Pleft { frac{eta _{n}-np}{sqrt{npleft ( 1-p ight )}} leq x ight }= int_{-infty }^{x}frac{1}{sqrt{2pi} }e^{-frac{t^{2}}{2}}dt\ qquad= Phi left ( x ight )$
常见统计量
样本均值：$ar{X}=frac{1}{n}sum_{i=1}^{n}X_{i}$
样本方差：$s^{2}=frac{1}{n-1}sum_{i=1}^{n}left ( X_{i}-ar{X} ight )^{2}$
样本$k$阶矩：$A_{k}=frac{1}{n}sum_{i=1}^{n}X_{i}^{k},k=1,2,cdots $
样本$k$阶中心矩：$B_{k}=frac{1}{n}sum_{i=1}^{n}left (X_{i}-ar{X} ight )^{k},k=1,2,cdots $
样本偏度系数：$eta _{1}= frac{sqrt{n}sum_{i=1}^{n}left (X_{i}-ar{X} ight )^{3}}{left [ sum_{i=1}^{n}left (X_{i}-ar{X} ight )^{2} ight ]^{frac{3}{2}}}$
样本偏度系数可以看作：$eta_{1}= frac{B_{3}}{left (B_{2} ight )^{frac{3}{2}}}$。样本偏度系数这个统计量描述的是样本分布的对称情况，若数据分布是对称的，$eta_{1}$为$0$。若$eta_{1}> 0$,则分布为右偏，有一条长尾在右；若$eta_{1}< 0$，则分布为左偏，有一条长尾在左。同时偏度的模越大，说明分布的偏移程度越严重。
样本峰度系数：$eta_{2}= frac{nsum_{i=1}^{n}left (X_{i}-ar{X} ight )^{4}}{left [ sum_{i=1}^{n}left (X_{i}-ar{X} ight )^{2} ight ]^{2}}-3$
样本峰度系数可以看作：$eta_{2}= frac{B_{4}}{left (B_{2} ight )^{2}}-3$。样本峰度系数描述的是分布的平滑或陡峭程度的统计量，减去$3$是为什么呢？因为标准正态分布的峰度就是$0$,即：$frac{B_{4}}{left (B_{2} ight )^{2}}=3$，所以是将正态分布作为基准。
二项式分布
二项分布是由伯努利提出的概念，指的是重复n次独立的伯努利试验。基本假设条件为：重复实验之间相互独立。若单次实验成功的概率为p，失败为1-p，那么n次实验成功k次的概率为：
$inom{n}{k}p^{k}left ( 1-p ight )^{n-k}$
泊松分布
泊松分布在统计学的角度上可以看作二项式分布从离散到连续的推广。假设随机事件发生的时间超级短，我们认为它是瞬时发生的，且在时间轴上是连续的，那么从二项式分布的角度有如下思考：事件要么发生要么不发生，发生的概率为p，不发生的概率为1-p，假设我们将时间轴划分为n份，每一份发生概率为p，不发生概率为1-p，那么总共发生k次的概率为：
$Pleft ( X= k ight )=inom{n}{k}p^{k}left ( 1-p ight )^{n-k}$
此时的时间轴是离散的，因为我们为了和二项式分布靠拢，分成了n份，如果n趋向于无穷大呢？首先p值会变小，因为区间越大，质量分布应该越大。对分割取极限有：
$Pleft ( X= k ight )= lim_{n o infty }inom{n}{k}p^{k}left ( 1-p ight )^{n-k}$
若n份切割的发生期望为$mu $，那么我们可以将p写为$frac{mu }{n}$。上式可以分割为两部分的乘积：
$Pleft ( X= k ight )= lim_{n o infty }inom{n}{k}left (frac{mu }{n} ight )^{k}cdot lim_{n o infty }left ( 1-frac{mu }{n} ight )^{n-k}$
其中：
$lim_{n o infty }inom{n}{k}left (frac{mu }{n} ight )^{k}= lim_{n o infty}frac{mu ^{k}}{k!}frac{n}{n}frac{n-1}{n}cdots frac{n-k+1}{n}= frac{mu ^{k}}{k!}$
$lim_{n o infty }left ( 1-frac{mu }{n} ight )^{n-k}= lim_{n o infty}left ( 1-frac{mu }{n} ight )^{n}cdot left ( 1-frac{mu }{n} ight )^{-k}= e^{-mu }$
所以有，连续轴上发生k次的概率为：
$Pleft ( X= k ight )= frac{lambda^{k}}{k!}cdot e^{-lambda}$
注意这里的$lambda$和$mu$是等价的，上式我们称之为泊松分布的分布率。
二项分布与泊松分布的关系
当n很大，p很小时，二项分布可以由泊松分布近似计算。
$Pleft ( X= k ight )= inom{n}{k}p^{k}left ( 1-p ight )^{n-k}= frac{lambda^{k}}{k!}cdot e^{-lambda}$
参考文献：泊松分布的现实意义是什么，为什么现实生活多数服从于泊松分布？
正态分布
正态分布又名高斯分布，是自然界常见的一个分布。概率密度函数为：
$Pleft ( x ight )= frac{1}{sqrt{2pi}sigma}e^{-frac{left ( x-mu ight )^{2}}{2sigma ^{2}}}$
中心极限定理：
假设随机变量$X_{1}$、$X_{2}$、$cdots$、$X_{n}$、$cdots$独立同分布，对于：
$F_{n}left ( x ight )= Pleft ( frac{sum_{i=1}^{n}X_{i}-nmu }{sigma sqrt{n}} leq x ight )$
有，当n趋向于无穷大时，$F_{n}left ( x ight )$服从正态分布，即：$Y_{n}= frac{sum_{i=1}^{n}X_{i}-nmu }{sigma sqrt{n}}$服从标准正态分布$Nleft ( 0,1 ight )$。
Gamma分布族
Gamma分布族表示为：$Galeft ( alpha ,lambda ight )$。其中$alpha$为形状参数，$lambda$为尺度参数。概率密度函数为：
$pleft ( x;alpha, lambda ight )= frac{lambda ^{alpha }}{Gammaleft ( alpha ight ) }x^{alpha -1}e^{-lambda x}$
其中gamma函数为：$Gammaleft ( alpha ight )= int_{0}^{+infty }t^{alpha -1}e^{-t}dt$，若n为正整数，则有$Gammaleft ( n ight )= left (n-1 ight )!$。当$0leq alpha leq 1$时，概率密度函数是严格的递减函数；当$1< alpha leq 2$时，概率密度函数为先上凸，再下凸；当$alpha > 2$时，概率密度函数为先下凸，再上凸，最后再下凸，此时有两个拐点。如图所示：
属于Gamma族的几种常见分布：
指数分布：当$alpha = 1$时，概率密度函数为：$pleft ( x ight )= lambda e^{-lambda x}, xgeq 0$。
卡方分布：$Galeft ( frac{n}{2},frac{1}{2} ight )= chi ^{2}left ( n ight )$。
在$lambda$相同时，关于形状参数具有可加性：$Galeft ( alpha_{1},lambda ight )+Galeft ( alpha_{2},lambda ight )=Galeft ( alpha_{1}+alpha_{2},lambda ight )$。
Beta分布族
beta分布族的定义域为：$D=left ( 0,1 ight )$，记为：$Beleft ( a,b ight )$。概率密度函数为：
$pleft ( x;a,b ight )= frac{Gamma left ( a+b ight )}{Gamma left ( a ight )Gamma left ( b ight )}x^{a-1}left ( 1-x ight )^{b-1}$
概率密度曲线如下图所示：
Beta变量$X$的$k$阶矩为：
$Eleft ( X^{k} ight )= frac{aleft ( a+1 ight )left ( a+2 ight )cdots left ( a+k-1 ight )}{left ( a+b ight )left ( a+b+1 ight )cdots left ( a+b+k-1 ight )}$
Beta变量$X$的期望和方差分别为：
$Eleft ( X ight )= frac{a}{a+b}$
$Varleft ( X ight )=frac{ab}{left ( a+b ight )^{2}left ( a+b+1 ight )}$
F分布
设$usim chi^{2}left ( n ight )$，$vsim chi^{2}left ( m ight )$，$u,v$相互独立，$Y= frac{frac{u}{n}}{frac{v}{m}}$的分布称为自由度为$left ( n,m ight )$的$F$分布，记为：$Ysim Fleft ( n,m ight )$。
性质：$Fleft ( n,m ight )= frac{1}{Fleft ( m,n ight )}$。
正态总体的样本均值和样本方差的方差
设$X_{1}，X_{2}，cdots ，X_{n}$是取自$Nleft ( mu ,sigma ight )$的样本，有：$frac{X_{i}-mu }{sigma }sim Nleft ( 0,1 ight ),i=1,2,cdots ,n$。
结论一：
由卡方分布的定义知：$frac{left (X_{i}-mu ight )^{2} }{sigma^{2} }sim chi^{2}left ( n ight )$。
结论二：
由假设知：$sum_{i=1}^{n}X_{i}sim Nleft ( nmu ,nsigma ^{2} ight )$，$frac{1}{n}sum_{i=1}^{n}X_{i}sim Nleft ( mu ,frac{sigma ^{2}}{n} ight )$，$s^{2}= frac{1}{n-1}sum_{i=1}^{n}left ( X_{i}-ar{X} ight )^{2}$。
------------------------------------------------------------------------------------------------------------
结论：$frac{left ( n-1 ight )s^{2}}{sigma^{2}}= frac{sum_{i=1}^{n}left ( X_{i}-ar{X} ight )^{2}}{sigma^{2}}sim chi ^{2}left ( n-1 ight )$。
$s^{2}$与$ar{X}$相互独立。
------------------------------------------------------------------------------------------------------------
证明：
令$Z_{i}= frac{X_{i}-mu}{sigma },quad i=1,2,cdots ,n$，独立同分布，都服从标准正态分布：$Nleft ( 0,1 ight )$；期望为：$ar{Z}= frac{1}{n}sum_{i=1}^{n}Z_{i}= frac{ar{X}-mu }{sigma }$。则有：
$frac{left (n-1 ight )s^{2}}{sigma ^{2}}= frac{sum_{i=1}^{n}left (X_{i}-ar{X} ight )^{2}}{sigma ^{2}}\ qquad = sum_{i=1}^{n} left [frac{left ( X_{i}-mu ight )-left ( ar{X}-mu ight )}{sigma } ight ]^{2}\ qquad = sum_{i=1}^{n}left ( Z_{i}-ar{Z} ight )^{2} \ qquad = sum_{i=1}^{n}Z_{i}^{2}-nar{Z}^{2}$
将$Z_{i}，i=1,cdots ,n$看作 一组空间中的正交基，此时其平方和应该服从自由度为n的卡方分布。但是$frac{left (n-1 ight )s^{2}}{sigma ^{2}}$，还有一项$nar{Z}^{2}$，这怎么办呢？解决办法是用正交变化将这项放缩到基向量上，假设这一项映射到$Y_{1}$上，根据高等代数的知识有：$sum_{i=1}^{n}Z_{i}^{2}=sum_{i=1}^{n}Y_{i}^{2}$，所以我们希望$Y_{1}^{2}=nar{Z}^{2}$。因此设置正交矩阵$A= left ( a_{ij} ight )$，第一行元素为：$frac{1}{sqrt{n}}$，对原始正交基做正交变换得到新的正交基：
$Y= AZ$，其中$Y= egin{pmatrix} Y_{1}\ Y_{2}\ cdots \ Y_{n} end{pmatrix}$，$Z= egin{pmatrix} Z_{1}\ Z_{2}\ cdots \ Z_{n} end{pmatrix}$。
现在我们来证明经过正交变换的新基是相互独立且服从标准正态分布的。
首先，由于$Y_{i}= sum_{j=1}^{n}a_{ij}Z_{j},i=1,2,cdots ,n$，所以$Y_{1}，Y_{2}，cdots ，Y_{n}$任然是正态随机变量，因为标准正态分布的随机变量的线性组合任然是正态分布。即：
$Eleft (Y_{i} ight )=Eleft ( sum_{j=1}^{n}a_{ij}Z_{j} ight )=sum_{j=1}^{n}a_{ij}Eleft (Z_{j} ight )=0$
$Covleft ( Y_{i},Y_{k}
ight )= Covleft ( sum_{j=1}^{n}a_{ij}Z_{j},sum_{l=1}^{n}a_{kl}Z_{l}
ight ) \ qquad = sum_{j=1}^{n}sum_{l=1}^{n}a_{ij}a_{kl}Covleft ( Z_{j},Z_{l}
ight ) \ qquad = sum_{j=1}^{n}a_{ij}a_{kj} \ qquad = delta_{ik}$
注意正交矩阵的性质：有若$A= left [ vec{a_{1}},vec{a_{2}},cdots ,vec{a_{n}} ight ]^{T}$，则有:
$vec{a_{i}}cdot vec{a_{k}}= left{egin{matrix} 1,quad if quad i=k\ 0, qquad else quad end{matrix} ight.$
所以有：
$Covleft ( Y_{i},Y_{k} ight )= left{egin{matrix} 1,quad if quad i=k\ 0, qquad else quad end{matrix} ight.$
通过协方差我们可以知道，新的基$Y_{i}$的方差为1，不同基$Y_{i}$, $Y_{k}$之间相互独立，协方差为0。而均值已经证明为0，且变换后是仍然是正态分布，所以$Y_{i}sim Nleft ( 0,1 ight )$，即仍然是标准正态分布。那么有：
$frac{left (n-1 ight )s^{2}}{sigma ^{2}}=sum_{i=1}^{n}Z_{i}^{2}-nar{Z}^{2}\ qquad = sum_{i=1}^{n}Y_{i}^{2}-Y_{1}^{2}\ qquad = sum_{i=2}^{n}Y_{i}^{2}$
因为$Y_{i}sim Nleft ( 0,1
ight )$，所以有：
$frac{left (n-1 ight )s^{2}}{sigma ^{2}}sim chi ^{2}left ( n-1 ight )$
$s^{2}$与$ar{X}$相互独立的证明。$ar{X}= sigma ar{Z}+mu = frac{sigma Y_{1}}{sqrt{n}}+mu$，而$s^{2}= frac{sigma ^{2}}{n-1}sum_{i=2}^{n}Y_{i}^{2}$，即样本均值只与$Y_{1}$有关，而方差与$Y_{2}, cdots ,Y_{n}$有关，所以两者之间相互独立。
证毕。
结论三：
结论：$frac{ar{X}-mu}{frac{s}{sqrt{n}}}sim tleft ( n-1 ight )$。
证明：
由$s^{2}= frac{sigma ^{2}}{n-1}sum_{i=2}^{n}Y_{i}^{2}$有：$s= sigma sqrt{frac{sum_{i=2}^{n}Y_{i}}{n-1}}$。因此有：
$frac{ar{X}-mu}{frac{s}{sqrt{n}}} = frac{sqrt{n}left ( ar{X}-mu ight )}{sigma sqrt{frac{sum_{i=2}^{n}Y_{i}}{n-1}}}\ qquad = frac{frac{sqrt{n}left ( ar{X}-mu ight )}{sigma }}{ sqrt{frac{sum_{i=2}^{n}Y_{i}}{n-1}}}$
而：$frac{sqrt{n}left ( ar{X}-mu ight )}{sigma }= Y_{1}sim Nleft ( 0,1 ight )$，$sum_{i=2}^{n}Y_{i}^{2}sim chi^{2}left ( n-1 ight )$。所以由t分布的定义(正态分布除以根号下卡方分布除以它的自由；卡方分布的自由度就是t分布的自由度)知：
$frac{ar{X}-mu}{frac{s}{sqrt{n}}}sim tleft ( n-1 ight )$
证毕。
Z分布族
Z分布又称 Fisher Z 分布，记为：$Zleft ( a,b ight )$。概率密度函数为：
$pleft ( x;a,b ight )= frac{Gamma left ( a+b ight )}{Gamma left ( a ight )Gamma left ( b ight )}frac{x^{a-1}}{left ( 1+x ight )^{a+b}}$
Z分布的概率密度曲线为：
Z分布的$k$阶矩为：
$Eleft ( X^{k} ight )=frac{left ( a+k-1 ight ) left ( a+k-2 ight )cdots a}{left ( b-1 ight )left ( b-2 ight )cdots left ( b-k ight )},k< b$
期望和方差分别为：
$Eleft ( X ight )=frac{a}{b-1},b> 1$
$Varleft ( X ight )= frac{aleft ( a+b-1 ight )}{left ( b-1 ight )^{2} left ( b-2 ight )},b> 2$
Z分布与Beta分布之间的关系：
若：$Xsim Beleft ( a,b ight )$，则$Y= frac{X}{1-X}sim Zleft ( a,b ight )$。
若：$Xsim Zleft ( a,b ight )$，则$Y= frac{X}{1+X}sim Beleft ( a,b ight )$。
Z分布与F分布之间的关系：
若$Xsim Zleft ( frac{n_{1}}{2},frac{n_{2}}{2} ight )$，则容易导出$Y= left ( frac{n_{2}}{n_{1}} ight )X$的概率密度函数为：
$pleft ( y;n_{1},n_{2} ight )= frac{Gamma left ( frac{n_{1}+n_{2}}{2} ight )}{Gamma left ( frac{n_{1}}{2} ight )Gamma left ( frac{n_{2}}{2} ight )} left ( frac{n_{1}}{n_{2}} ight )^{frac{n_{1}}{2}} frac{y^{frac{n_{1}}{2}-1}}{left ( 1+frac{n_{1}}{n_{2}}y ight )^{frac{n_{1}+n_{2}}{2}}}, y> 0$
这就是自由度为$n_{1}$和$n_{2}$的$F$分布，记为：$Fleft ( n_{1},n_{2} ight )$。$F$分布的期望和方差分别为：
$Eleft ( Y ight )= frac{n_{2}}{n_{2}-2},n_{2}> 2$
$Varleft ( Y ight )= frac{2n_{2}^{2}left ( n_{1}+n_{2}-2 ight )}{n_{1}left ( n_{2}-2 ight )^{2}left ( n_{2}-4 ight )},n_{2}> 4$
学生氏分布------t分布族
若随机变量$Xsim Nleft ( 0,1 ight )$与$Ysim chi _{n}^{2}$相互独立，则称$T= frac{X}{sqrt{frac{Y}{n}}}$服从自由度为n的$t$分布，记为：$Tsim t_{n}$。它的分布曲线和正态分布类似。概率密度函数为：
$pleft ( x;alpha ight )= frac{Gamma left ( frac{alpha +1}{2} ight )}{sqrt{alpha pi }Gamma left ( frac{alpha }{2} ight )}left ( 1+frac{x^{2}}{alpha } ight )^{-frac{alpha +1}{2}}$
柯西分布
自由度为1的$t$分布就是柯西分布，它以期望和方差都不存在而著名。其概率密度函数为：
$pleft ( x ight )= frac{1}{pi left ( 1+x^{2} ight )},xin R$
更一般的形式为：
$pleft ( x ight )= frac{b}{pi left ( b^{2}+left (x-a ight )^{2} ight )},xin R$
估计量的评价指标
MSE均方误差
公式：$MSE_{ heta }left ( hat{ heta} ight )= Eleft ( hat{ heta}- heta ight )^{2}$。
无偏估计、渐近无偏估计
参数真值是确定的，但是我们未知。则称估计为无偏估计，若$Eleft [ hat{ heta}left ( X_{1},cdots ,X_{n} ight ) - heta ight ]= 0$。估计为渐近无偏估计，若$lim_{n o infty }E_{ heta }left [ hat{ heta}left ( X_{1},cdots ,X_{n} ight ) ight ]= heta$。
相合性估计
弱相合性：若$hat{ heta}left ( X_{1},cdots ,X_{n} ight )xrightarrow[n o infty ]{P} heta $则称$hat{ heta}left ( X_{1},cdots ,X_{n} ight )$作为$ heta $的估计量，具有弱相合性。
强相合性：若$hat{ heta}left ( X_{1},cdots ,X_{n} ight )xrightarrow[n o infty ]{a.s.} heta $则称$hat{ heta}left ( X_{1},cdots ,X_{n} ight )$作为$ heta $的估计量，具有强相合性。其中$a.s.$表示依概率1收敛or几乎必然收敛。
渐近正态估计
若，$frac{hat{ heta}left ( X_{1},cdots ,X_{n} ight ) - heta}{sigma _{n}left ( heta ight )}xrightarrow[n o infty ]{L}Nleft ( 0,1 ight )$，其中$sigma _{n}left ( heta ight )$为渐近方差。
假设检验
基本概念
记$H_{0}: heta in Theta_{0}$为原假设；$H_{1}: heta in Theta_{1}$为备择假设。为了对$H_{0}$的正确性做出判断，需要构造一个检验统计量$Tleft ( X_{1},X_{2},cdots ,X_{n} ight )$。当参数$ heta$给定时，检验统计量的分布也能相应确定，样本的取值大小与原假设是否成立有密切联系。假设检验中有一个重要的概念为：接受域、拒绝域。用$W$表示拒绝域，即$W= left { x_{1},x_{2},cdots ,x_{n}|Tleft ( x_{1},x_{2},cdots ,x_{n} ight )in G ight }$，$G$表示检验统计量在原假设下不合理的取值范围。
则有：若$left ( x_{1},x_{2},cdots ,x_{n} ight )in W$则拒绝原假设$H_{0}$，反之接受。原假设是否成立我们是不知道的，但是我们可以根据样本判断其是否落入拒绝域，因此检验规则就是落入就拒绝，不落入就接受，此时就会出现下面的Bug。
第一类错误、第二类错误
第一类错误(拒真)：在原假设$H_{0}$成立时，$left ( x_{1},x_{2},cdots ,x_{n} ight )$一般不会落入$W$，但由于样本的随机性，也有可能落入$W$。此时按规则将做出拒绝$H_{0}$的错误判断，我们称之为第一类错误(拒真)。
第二类错误(采伪)：在原假设$H_{0}$不成立时，$left ( x_{1},x_{2},cdots ,x_{n} ight )$一般都会落入$W$，但由于样本的随机性，也有可能不落入$W$。此时按规则将做出接受$H_{0}$的错误判断，我们称之为第二类错误(采伪)。
原假设的拒绝域$W$一旦确定，检验规则也就随之确定了，由于样本的随机性，这两类错误率无法彻底避免。
纽曼皮尔逊(Neyman—Pearson)显著性假设检验原则
优先保证犯第一类错误的概率$alpha left ( heta ight )= P_{H_{0}成立}left ( 拒绝H_{0} ight )$不超过预先设定的显著性水平(常取0.1、0.05、0.01)，在此前提下，使犯第二类错误的概率$eta left ( heta ight )= P_{H_{0}不成立}left ( 接受H_{0} ight )$尽可能小。
假设检验的势函数
定义势函数为：$gleft ( heta ight )= P_{ heta }left { left ( X_{1},X_{2},cdots ,X_{n} ight )in W ight }$。
显然，当$ heta in Theta_{0}$时，则$alpha left ( heta ight )= gleft ( heta ight )$就是犯第一类错误的概率；
当$ heta in Theta_{1}$时，有$P_{ heta }left { left ( X_{1},X_{2},cdots ,X_{n} ight ) otin W ight }= 1-P_{ heta }left { left ( X_{1},X_{2},cdots ,X_{n} ight )in W ight }$，即$eta left ( heta ight )=1- gleft ( heta ight )$为犯第二类错误的概率。
所以，在$Theta_{0}$中我们希望势函数越小越好，在$Theta_{1}$上希望势函数越大越好。
如图所示，第三个势函数要比第一个、第二个势函数好。实际上，我们希望在$Theta_{0}$中，势函数尽可能小，但是在边界点上可以达到$alpha$，在$Theta_{1}$中，要尽可能大。
当参数$theta$对应的分布是离散型时，势函数$gleft ( heta ight )$在$Theta_{0}$上的最大值正好等于$alpha$可能是办不到的，为此引入“随机化检验”，先引入“检验函数”的概念。
非随机化检验函数：将原假设的拒绝域的示性函数：
$phi left ( x_{1},x_{2},cdots ,x_{n} ight ) = left{egin{matrix} 1,quad ifquad left ( x_{1},x_{2},cdots ,x_{n} ight )in W\ 0,quad ifquad left ( x_{1},x_{2},cdots ,x_{n} ight ) otin W end{matrix} ight.$
称为非随机化检验函数。
随机化检验函数：在接受域与拒绝域的边界以概率$r$拒绝原假设，以概率$1-r$接受原假设。随机化检验函数为：
$phi left ( x_{1},x_{2},cdots ,x_{n} ight ) = left{egin{matrix} 1,quad ifquad left ( x_{1},x_{2},cdots ,x_{n} ight )in W\ 0,quad ifquad left ( x_{1},x_{2},cdots ,x_{n} ight ) otin W \ r,quad ifquad left ( x_{1},x_{2},cdots ,x_{n} ight )in W的边界 end{matrix} ight.$
纽曼-皮尔逊(Neyman-Pearson)基本引理
如果$phi_{1}left ( vec{X} ight ),phi_{2}left ( vec{X} ight )$是显著性水平$alpha$的两个检验函数，即$E_{ heta_{0}}left [ phi_{1}left ( vec{X} ight ) ight ]leq alpha$，$E_{ heta_{0}}left [ phi_{2}left ( vec{X} ight ) ight ]leq alpha $，若有$E_{ heta_{1}}left [ phi_{1}left ( vec{X} ight ) ight ]geq E_{ heta_{1}}left [ phi_{2}left ( vec{X} ight ) ight ]$，则称$phi_{1}left ( vec{X} ight )$不比$phi_{2}left ( vec{X} ight )$差。
如果$phi_{1} left ( vec{X} ight )$是显著性水平为$alpha$下的任意检验函数，如果有$E_{ heta_{1}}left [ phi left ( vec{X} ight ) ight ]geq E_{ heta_{1}}left [ phi_{1}left ( vec{X} ight ) ight ]$，则称$phi left ( vec{X} ight )$是此假设检验的最优势检验(MPT)。
Neyman-Pearson基本引理：若$P_{Theta_{0}},P_{Theta_{1}}$是两个不同的概率测度，原假设的MPT一定存在，且可以由似然比给出如下：
$phi left ( vec{X} ight )= left{egin{matrix} 1,quad Pleft ( vec{X}; heta_{1} ight )> kcdot Pleft ( vec{X}; heta_{0} ight )\ 0,quad Pleft ( vec{X}; heta_{1} ight )< kcdot Pleft ( vec{X}; heta_{0} ight )\ r,quad Pleft ( vec{X}; heta_{1} ight )= kcdot Pleft ( vec{X}; heta_{0} ight ) end{matrix} ight.$
由此定理得到就是最优势函数(MPT)。
额，什么？你感觉势函数和检验函数差不多？嗯，实际上确实是，势函数是介绍的连续随机变量分布的情况，主要是用于枢轴量分布的选择，使得第一类错误率不超过显著性水平的情况下，犯第二类错误的概率尽可能小。而检验函数有点类似于离散版的势函数。那么上面的公式用图表示出来是什么样呢？如下图所示：
红色的阶梯线表示离散的检验函数，这里将$vec{X}, heta,W$对应起来了，若$vec{X}in W ightarrow vec{X}in Theta_{1}$；$vec{X} otin W ightarrow vec{X}in Theta_{0}$。不难发现这个极致的情况是真的极端，就因为是离散函数就可以这么吊吗？当然这里属于拒绝域时，检验函数值必须为1，不属于必须为0，边界上的值可以变动，$k$和$r$由$E_{ heta _{0}}left ( phi left ( vec{X} ight ) ight )= alpha $来确定。
一致最优势检验
定义：设$phi left ( vec{X} ight )$是显著性水平为$alpha$的检验，如果对任意一个水平为$alpha$的检验$phi_{1} left ( vec{X} ight )$，都有：
$E_{ heta}left [ phi left ( vec{X} ight ) ight ]geq E_{ heta}left [ phi_{1}left ( vec{X} ight ) ight ],forall heta in Theta_{1}$
则，称$phi left ( vec{X} ight )$水平为$alpha$的一致最优势检验(UMPT)。
此时，你是不是想问MPT与UMPT的定义公式一模一样啊？两者之间有什么区别？MPT是指假设检验为“$H_{0}: heta= heta_{0};quad H_{1}: heta= heta_{1}$”这种简单假设的最优势检验，而UMPT是指假设检验为“$H_{0}: heta= Theta_{0};quad H_{1}: heta= Theta_{1}$”这种复合假设检验的一致最优势检验，差别就在原假设、备择假设是否有多个选择。
定理一：设$phi left ( vec{X} ight )$是$left ( alpha,Theta_{0},Theta_{1} ight)$检验，$Theta_{01}$是$Theta_{0}$的子集。如果$phi left ( vec{X} ight )$是$left ( alpha,Theta_{01},Theta_{1} ight)$的UMPT，则$phi left ( vec{X} ight )$是$left ( alpha,Theta_{0},Theta_{1} ight)$的UMPT。
这里不做证明，原因很简单，接受域中的子集$Theta_{01}$与完整的拒绝域$Theta_{1}$结合的UMPT，那么在$Theta_{0}$和$Theta_{1}$上也是UMPT，因为我们的条件是在$Theta_{1}$啊！由$phi left ( vec{X} ight )$是$left ( alpha,Theta_{0},Theta_{1} ight)$检验有：$E_{ heta _{0}}left ( phi left ( vec{X} ight ) ight )leq alpha， heta in Theta_{0}$。所以条件都是满足的。
定理二：假如对某个$ heta_{0} in Theta_{0}$和对每一个$ heta_{1} in Theta_{1}$，$phi left ( vec{X} ight )$都是的MPT，则$phi left ( vec{X} ight )$也是$left ( alpha,Theta_{0},Theta_{1} ight)$的UMPT。
根据定理一及UMPT的定义不难证明其正确性。
未完待续，转载请注明出处……