最大似然法理解

说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：
P(黑=8)=p^8*（1-p）^2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。
可能你会有疑问，为什么要ln一下呢，这是因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~

同样，这样一道题：设总体X 的概率密度为
已知 X1,X2..Xn是样本观测值，求θ的极大似然估计

这也一样啊，要得到 X1,X2..Xn这样一组样本观测值的概率是
P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我们就求使得P最大的θ就好啦，一样是求极值的过程，不再赘述。

作者：渣君
链接：https://www.zhihu.com/question/20447622/answer/23902715
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

 

 

最小二乘：找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。

作者：稻花香
链接：https://www.zhihu.com/question/20447622/answer/23848605
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

 

 

先说结论：误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。

 

最小二乘法是基于最大似然估计推导出来的

 

最小二乘法的
目的： 通过已有的数据来预测未知的数据。一般做一条 多元一次直线方程。
原理：假设在一个 2维坐标上，有很多个点，我们划一条 直线，直线满足：坐标上所有的点到直线上的距离和最小。（注意，这个距离不是 过点在该直线上做垂线，而是 过该点 做一条与Y轴平行的线，形成的距离）

最后补充一点，在很多的数据分析中，人们往往更加愿意 用“距离”来描述数与数之间的关系，还有什么马氏距离法、广义平方距离法等等

作者：咪总
链接：https://www.zhihu.com/question/20447622/answer/15732404
来源：知乎
著作权归作者所有，转载请联系作者获得授权。