1. 最大似然估计法的思想
在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。
2. 离散型随机变量
设X为离散型随机变量,其概率分布的形式为 ,则样本的概率分布为 ,在 固定时,上式表示取值的概率;当 固定时,它是 的函数,我们把它记为 并称为似然函数。
似然函数 的值的大小表示该样本值出现的可能性的大小。既然已经得到了样本值 ,那它出现的可能性应该是大的,即似然函数的值应该是大的。因而我们选择使 达到最大值的那个 作为真 的估计。
3. 连续型随机变量
设 为连续型随机变量,其概率密度函数为 则 为从该总体抽出的样本。因为 相互独立且同分布,于是,样本的联合概率密度函数为
,在 是固定时,它是 在 处的 密度,它的大小与 落在 附近的概率的大小成正比,而当样本值 固定时,它是 的函数。我们仍把它记为 并称为似然函数。类似于刚才的讨论,我们选择使 最大的那个 作为真 的估计。
总之,在有了试验结果即样本值 时,似然函数 反映了 的各个不同值导出这个结果的可能性的大小。 我们选择使 达到最大值的那个 作为真 的估计。这种求点估计的方法就叫做最大似然法。
4. 求解最大似然函数的一般步骤为
1. 写出似然函数
2. 写出对数似然函数,并整理
3. 求导数
4. 解似然方程