背景:参数估计
总体 X 的分布函数 (F(x, heta)) 形式已知但含有未知参数 ( heta),通过样本来估计关于 ( heta) 的信息,称为参数估计。
点估计问题构造统计量 (hat heta(X_1,...,X_n)) 用其观察值来估计未知参数 ( heta),称 (hat heta (X_1,...,X_n)) 时 ( heta) 的估计量,(hat heta (x_1,...,x_n)) 是 ( heta) 的估计值。
矩估计
由辛钦定理,样本原点矩依概率收敛到总体原点矩,若将总体原点矩的期望表示为待估参数 ( heta) 的函数,则可以获得若干个关于待估参数的方程,进而求解参数的估计值。
通常来说,能用低阶原点矩进行估计就不使用高阶原点矩,这里同时涉及到估计的准确性与计算的复杂度问题。
最大似然估计
对似然函数 (L( heta)=prod_{i=1}^n f(X_i; heta)) 而言,样本值 (x_1,...,x_n) 都是常数,似然函数是 ( heta) 的函数,我们希望取得某种参数值 (hat heta) 使得 (L( heta)) 达到最大。
换言之,我们就是要找到一种参数,使得这种参数分布下抽取得到这样的样本的概率最大,这种分布参数就是对总体分布参数的最大似然估计。
实际求解时,通常使用对数似然函数 (ln L( heta)),将其对参数求偏导数后令为 (0) 以求解驻点。如果由多个参数,则构成多个方程。总之转化为了单/多元函数的最值问题。
估计量的评选标准
无偏性
估计量的期望 (Ehat heta = heta),则是无偏估计。若 (lim_{n o infty} Ehat heta= heta),则称为渐进无偏估计。
有效性
若 (Ehat heta_1=Ehat heta_2= heta),若有 (Dhat heta_1 le Dhat heta_2) 则称 (hat heta_1) 比 (hat heta_2) 有效。
所有无偏估计中,方差最小的无偏估计称为最小方差无偏估计,或有效估计。
点估计的方差的下界为 (displaystyle frac 1 {nI( heta)}),其中 (I( heta)) 是 Fisher 信息数。
相合性
若估计量 (hat heta) 依概率收敛到 ( heta),则称 (hat heta) 是 ( heta) 的相合估计量。
根据辛钦定理,所有的矩估计都是相合估计。