极大似然估计

通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....

1.什么是最大似然估计

   如果我们知道样本（数据）所服从的概率分布的模型，而不知道该模型中的参数，例如：高斯模型的参数：均值u，及方差sigma。最大似然估计就是用来估计模型参数的统计学方法。

2.如何估计

   我们有什么可以利用的信息呢？样本，概率分布模型。根据什么道理来估计呢？我们从总体中能够获得这些样本，为什么能获得，应该是获得这样的样本组合的概率最大。这样就将参数估计问题转化到最优化问题了。求最值，最简单的方法就是求导数，令导数为零，解方程。

   设样本：，概率分布模型：f，要估计的参数θ，优化目标函数：

3.求解

   首先假设样本独立同分布，则问题转化为：

在实际应用中常用的是两边取对数，得到公式如下：

其中称为对数似然，而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：

 　　

4.注意

（1）样本要满足的独立同分布  

（2）参数 θ为参数向量，不一定就是一个数。

（3）求解上面的优化问题的方法可以用导数的方法，但有时可能解不唯一；有时可能行不通。所以也可以用其他优化方法。