极大似然估计的数学意义及例题

最大似然估计是一种用来在给定观察数据下估计所需参数的技术。比如，如果已知人口分布遵从正太分布，但是均值和方差未知， MLE（maximum likelihood estimation）可以利用有限的样本来估计这些参数。

1.正规定义

从分布$f_0$中引出$n$个独立同分布的观察$x_1,x_2,...x_n$，其中$f_0$是从一族依赖于几个$heta$参数的分布$f$而得来的。
MLE的目标就是最大化似然函数：
$L=f(x_1,x_2,...x_n| heta)=f(x_1| heta) imes f(x_2| heta) imes ... imes f(x_n| heta)$
通常，$log$似然函数更容易处理：
$hat{l}=frac{1}{n}logL=frac{1}{n}sum_{i=1}^{n}logf(x_i| heta)$

2.举例

举例一

一个硬币被抛了100次，有61次正面朝上，假设硬币向上的概率猜测有三个$frac{1}{3}$,$frac{1}{2}$,$frac{2}{3}$，以上三个哪个是最大似然估计？
求解：这个是伯努利分布，假设唯一参数为$p$，因此：
$P(H=61|p=frac{1}{3})=left(egin{matrix}100\61end{matrix} ight)left(frac{1}{3} ight)^{61}left(1-frac{1}{3} ight)^{39}approx9.6 imes10^{-9}\P(H=61|p=frac{1}{2})=left(egin{matrix}100\61end{matrix} ight)left(frac{1}{3} ight)^{61}left(1-frac{1}{2} ight)^{39}0.007\P(H=61|p=frac{2}{3})=left(egin{matrix}100\61end{matrix} ight)left(frac{2}{3} ight)^{61}left(1-frac{2}{3} ight)^{39}approx0.40$
比较以上三个值可以得出$p=frac{2}{3}$是极大似然估计。

举例二

该例子利用导数为0得到极大似然估计，主动计算。