zoukankan      html  css  js  c++  java
  • 理解极大似然估计(MLE)

    极大似然估计学习时总会觉得有点不可思议,为什么可以这么做,什么情况才可以用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。

    一、极大似然估计的思想与举例

    举个简单的栗子:在一个盒子里有白色黑色小球若干个,每次有放回地从里面哪一个球,已知抽到白球的概率可能为0.7或者0.3,但不清楚,现在抽取三次,三次都没有抽到白球,请问盒子中一次抽到白球的概率是多少?

    这类栗子有一个共性,我们假设白球的概率为p,然后用它去计算已知发生的事情“三次都是黑球”使其发生的概率最大。已知p可能取值为0.7或者0.3,那我们两个值分别计算三次抽取为黑球的概率,谁的概率大我们就认为p的概率是多少。

    p=0.3时,三次为黑球的概率 P = 0.7*0.7*0.7 = 0.342

    p=0.7时,三次为黑球的概率 P = 0.3*0.3*0.3 = 0.027

    可见p为0.3时事件三次抽取都为黑球发生的概率最大,所以我们认为盒子中取到白球的概率的极大似然估计为0.3。

    再举个栗子:有两个男孩和一个女孩,已知两男孩中其中一个与女孩是兄妹,经过观察发现男孩A与女孩有点像,男孩B与女孩不像,那我们就会猜测男孩A和女孩是兄妹。

    这就是用到了极大似然估计的思想即忽略低概率,认为高概率的为真实事件,或者去估计真实事件。

    对于连续的问题,还是上面的小球例子,如果取到白球的概率为一个区间值[0.3, 0.7]。

    求解:假设取到取到白球概率为p,则三次都为黑球的事件概率

    P = (1-p)^3

    P对p求导得:P' = -3(1-p)^2

    令P' = 0,得p = 1,  因为 p 在[0.3, 0.7]之间,p<1时,P' < 0, 故在 p < 1区间内,函数P单调递减,所以p = 0.3时,P取到最大值。即事件发生的可能性最大,所以白球概率的极大似然估计为0.3。

    二、总结

    通过以上的分析,可以得出极大似然估计的通常解法,总体来说分为以下几步:
    1、得到所要求的极大似然估计的概率p的范围
    2、以p为自变量,推导出当前已知事件的概率函数式Q(p)
    3、求出能使得Q(p)最大的p
    这样便求出了极大似然估计值p

  • 相关阅读:
    图-拓扑排序
    图-最短路径-Dijkstra及其变种
    【链表问题】打卡7:将单向链表按某值划分成左边小,中间相等,右边大的形式
    【链表问题】打卡5:环形单链表约瑟夫问题
    【链表问题】打卡6:三种方法带你优雅判断回文链表
    【链表问题】打卡4:如何优雅着反转单链表
    【链表问题】打卡3:删除单链表的中间节点
    【链表问题】打卡2:删除单链表的第 K个节点
    史上最全面试题汇总,没有之一,不接受反驳
    一些可以让你装逼的算法技巧总结
  • 原文地址:https://www.cnblogs.com/zongfa/p/10294867.html
Copyright © 2011-2022 走看看