1. 点估计与优良性
点估计
总体 X 的分布函数形式已知，但它的一个或多个参数未知，借助总体的一个样本来估计总体未知参数的值的问题称为点估计。
点估计问题就是要构建一个适当的统计量 θ-hat（X1、.. 、Xn），用它的观察值 θ-hat (x1、.. 、 xn)来估计未知参数 θ。
pass
无偏性
若估计量 θ-hat = θ（X1、.. 、Xn）的数学期望 E（θ-hat）存在，且对任意 θ 有 E（θ-hat） = θ，则称 θ-hat 是 θ 的无偏估计量。
无偏估计量的实际意义：无系统误差。
若 limE(θ-hat) = θ，则称 θ-hat 是 θ 的渐进无偏估计。
特别地，无论总体 X 服从什么分布，只有它的数学期望存在，样本均值pass总是总体的数学期望 EX 的无偏估计量。
修正样本方差 pass 是总体方差 σ2 的无偏估计量。
一般地，一个参数的无偏估计量不唯一。
问题：对于同一参数的的多个无偏估计量，如何评价它们的优劣？
均方误差准则
pass
均方误差
MSE(θ-hat, θ) = E(θ-hat - θ)2
这个还是无法找到最优估计。
有效性
若 D(θ1-hat) < D(θ2-hat)， 则称 θ1-hat 比 θ2-hat 有效。
最小方差无偏估计
如果存在 θ 的一个无偏估计量θ0-hat，使得对于 θ 的任一方差存在的无偏估计量 θ-hat ，都有 D(θ0-hat) < D(θ-hat)，则称 θ0-hat 是 θ 的最小方差无偏估计 MVUE。
最小方差无偏估计是一种最优估计。
基于充分完备统计量的无偏估计一定是 MVUE。
最小方差无偏估计的判别法
pass
注：1. 此定理是最小方差无偏估计的判别法，但无法寻求最小方差无偏估计的存在性；
2. 由于L(X) 的任意性，因而很难利用定理判别。
3. 利用判别定理进行判别，非常复杂，况且也无法利用此定理去寻求MVUE。
充分完备统计量是解决上述困难的有力工具。
最小方差无偏估计计算方法
1. 构建一个充分完备统计量 T(X1、.. 、Xn) 和一个 θ 的无偏估计 θ-hat。
2. 计算 E( θ-hat | T )， 其结果即为 MVUE。
有效估计
上面介绍了最小方差无偏估计以及相应的寻求方法。自然会引入另一个问题：无偏估计的方差是否可以任意的小？是否有下界？Rao-Cramer不等式可以回答此问题。
Fisher 信息量
pass
Rao-Cramer不等式
pass
罗－克拉美下界
pass
由此可见，统计量的方差不可以无限的小，存在下界。当无偏估计的方差达到下界，它一定是MVUE.。但最小方差无偏估计不一定达到下界。
最小方差无偏估计量的方差不一定能够达到罗克拉美下 界。为此，引入有效估计的概念。
有效估计
pass
如果 θ-hat 是 θ 的有效估计，则它也是最小方差无偏估计。但反之却不成立。
渐进有效估计
pass
相合估计（一致估计）
前面的估计的评价标准主要讨论了估计的期望和方差的特性，这个标准是从估计的极限特性给予说明。
θn-hat 依概率收敛于 θ ，则称 θn-hat 为 θ 的相合估计量。
相合估计是对估计量的一个基本要求。
相合估计的判别法则
lim E(θ-hat ) = θ, 且 lim D(θ-hat ) = 0, 则 θ-hat 是 θ 的相合估计。
相合估计的性质
pass
渐进正态估计
pass
渐进正态估计一定是相合估计。
2. 点估计量的求法
由于估计量是样本的函数,是随机变量, 故对不同的样本值, 得到的参数值往往不同, 因此如何求得参数 θ 的估计量便是问题的关键所在。常用以下三种方法：
2.1 矩估计
基本思想：用样本矩估计总体矩，用样本矩的连续函 数来估计总体矩的连续函数。
理论依据： 大数定律。
记：
总体 k 阶原点矩 αk = E ( Xk )
样本 k 阶原点矩 Ak =
总体 k 阶中心矩 μk = E [ X - E X ]k
样本 k 阶中心矩 Bk =
设总体 X 的分布函数为 F(x； θ1 ，... ，θm)， m 个待估参数，αk = E ( Xk )存在，（X1、.. 、Xn）为来自总体 X 的简单随机样本。
具体步骤
pass
总体均值与方差的矩估计量的表达式不因不同的总体分布而异，一般地：用样本均值 作为总体 X 的均值的矩估计，用样本二阶中心矩 作为总体的方差的矩估计。
同一参数的矩估计量可不唯一。
小结
优点：简单易行, 并不需要事先知道总体是什么分布。
缺点：当总体类型已知时，没有充分利用分布提供的信息。 一般场合下, 矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取哪些总体矩用相应样本矩代替带有一定的随意性。
2.2 最大似然估计
最大似然估计法是在总体类型已知条件下使用的一种参数估计方法。
似然函数
pass
最大似然估计
选取使似然函数 L(θ) 取得最大值的 θ-hat 作为未知参数 θ 的估计值。
pass
求解步骤
1. 写出似然函数
pass
2. 取对数
pass
3.对 θ 求导，令导函数为0， 解方程即得未知参数 θ 的最大似然估计值 θ-hat
pass
对于分布中含有多个未知参数的情况，对每个未知参数求偏导。
性质
pass
小结
最大似然估计充分利用了样本中包含的参数的信息，因而是一种比较好的估计， 通常情况下，最大似然估计不仅是相合估计，而且是渐近正态估计。
2.3 用次序统计量估计
1. 用样本中位数与样本极差估计参数
由于样本中位数与样本极差计算 便，因而通常情况下，可以用样本中位数估计总体期望，用样本极差估计总体的标准差。
3. 区间估计
点估计未能给出估计量 θ-hat 与真值 θ 的误差及估计的可靠程度。区间估计解决了上述问题。
置信度与置信区间
pass
求置信区间的一般步骤
pass
正态总体的置信区间
pass
单侧置信区间
pass
非正态总体参数的区间估计
pass