zoukankan      html  css  js  c++  java
  • 贝叶斯定理(Bayes' theorem)的理解笔记

    Bayes定理的理解


    先验概率和后验概率(prior probability & posterior probability)

    想要更好的理解贝叶斯公式,必须要搞懂几个概念:

    先验概率和后验概率(也叫正向概率和逆向概率)

    先验概率就是不加条件(信息)的判断某一变量的概率,可以理解为你直观上判断某一事件发生的概率。
    举个例子,判断一个人是不是很聪明的概率。

    后验概率是在附加了某条件后判断某一变量的概率(是一种条件概率),也可以理解为获取到了某些信息下判断某一事件的概率。
    举个例子,这个人考上了大学,判断这个人是不是很聪明的概率。

    二者区别可以认为是,先验概率是指缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率。条件概率涉及的两个事件不是独立的。一个事件的发生必然影响另一个事件发生的概率。


    条件概率(conditional probability)

    条件概率公式:

    B事件是条件,我们已经观察到B的发生,所以在B发生的条件下A发生的概率,就是A和B都发生的概率,除以B发生的概率。
    这是简单条件概率的理解,而贝叶斯公式就是用来求条件概率的。

    全概率公式(total probability)

    (后面会用到)

    公式表示若事件A1,A2,…,An构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立。

    Bayes定理

    贝叶斯公式:

    这里通过一个例子来理解这个公式:

    • 问题:
      小鹿说,他的女神每次看到他的时候都冲他笑,他想知道女神是不是喜欢他呢?

    • 建模:

    分析给定的已知信息和未知信息:

    1)未知条件:女神喜欢你,记为A事件,P(A) :表示A事件发生的概率。

    2)已知条件:女神经常冲你笑,记为B事件,P(B) :表示B事件发生的概率。

    3)要解决的问题:P(A|B) 表示女神经常冲你笑这个事件(B)发生后,女神喜欢你(A)的概率。

    那么再回到公式,我们可以知道以下信息:

    1)先验概率
    在这个问题当中,P(A)就是先验概率,就是不知道B或者其它信息的情况下,对A发生的一个判断。也就是说,你不知道任何情况的前提下,女神喜欢你的概率,假设是50%,也就是说可能喜欢你,也可能不喜欢。

    2)后验概率
    P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后,对女神喜欢你的概率重新预测。

    3)可能性函数(Likelyhood)
    我们观察公式,除去 P(A)、P(A|B)还剩下一部分: P(B|A)/P(B) ,我们可以理解为这是一个调整因子,即对新信息事件B的发生后做出的调整,作用是使得先验概率更接近真实概率。
    可以理解为,你一开始有了个推断P(A),女神有50%的可能性喜欢你,但是后来你知道了P(B),女神经常冲你笑的概率,那么这时候你就需要对之前的推断做出调整,而这个“可能性函数(Likelyhood)”就是这个作用。

    如果"可能性函数"P(B|A)/P(B)>1,意味着"先验概率"被增强,事件A的发生的可能性变大;
    如果"可能性函数"P(B|A)/P(B)=1,意味着B事件无助于判断事件A的可能性;
    如果"可能性函数"P(B|A)/P(B)<1,意味着"先验概率"被削弱,事件A的可能性变小。

    在这里,假如这个可能性函数是1.5(可以理解为,女神平常比较高冷,但是经常只对你笑,意味着喜欢你的可能性变大)

    我们将数据代入公式:P(A|B)=P(A) × P(B|A)/P(B)= 50%×1.5 =75%

    说明在女神经常对你笑的情况下,喜欢你的概率是75%哦


    深入理解贝叶斯公式

    先根据以往的经验预估一个"先验概率"P(A),然后加入新的信息(实验结果B),这样有了新的信息后,我们对事件A的预测就更加准确。

    因此,贝叶斯定理可以理解成下面的式子:
    后验概率(新信息出现后A发生的概率) = 先验概率(A发生的概率) x 可能性函数(新信息带出现来的调整)
    即:
    P(A|B) = P(A) × (P(B|A)/P(B))
    贝叶斯的底层思想就是:
    如果我能掌握一个事情的全部信息,我当然能计算出一个客观概率(古典概率、正向概率)。
    可是生活中绝大多数决策面临的信息都是不全的,我们手中只有有限的信息。既然无法得到全面的信息,我们就在信息有限的情况下,尽可能做出一个好的预测。也就是,在主观判断的基础上,可以先估计一个值(先验概率),然后根据观察的新信息不断修正(可能性函数)。

    结合全概率公式

    前面全概率的公式没有做过多的解释,这里来解释一下。
    首先假设B1,B2,B3,B4...Bn 为有限个或者无限可数个事件,它们两两之间互斥。


    引入一个新的事件A,如图:

    贝叶斯公式再思考————由果溯源


    贝叶斯公式是一个结合了全概率公式、条件概率的公式。
    其主要的内涵是:在观察到结果事件P(B)已经发生的情况下,推断结果事件P(B)是由原因P(A)造成的概率的大小,也就是说是由因到果。
    (P(A))是先验概率,指的是没有别的前提下的概率值,(P(A|B))是后验概率,代表了在获得了B信息之后,A事件出现的概率,也可以说后验概率是先验概率在获得了一些信息之后的一些修正。

    链接

    https://www.zhihu.com/question/27462939
    https://zhuanlan.zhihu.com/p/37768413

  • 相关阅读:
    作诗(si)[分块]
    【洛谷 P3469】[POI2008]BLO-Blockade(割点)
    【洛谷 P2464】[SDOI2008]郁闷的小J(线段树)
    【BZOJ 3907】网格(Catalan数)
    【洛谷 P4211】[LNOI2014]LCA(树链剖分,差分)
    【洛谷 P2480】 [SDOI2010]古代猪文(中国剩余定理,Lucas定理)
    【洛谷 P3842】[TJOI2007]线段(DP)
    【洛谷 P2346】四子连棋(状态压缩,搜索)
    【洛谷 P1363】幻想迷宫(搜索)
    【洛谷 P1364】医院设置(树的重心)
  • 原文地址:https://www.cnblogs.com/jiashun/p/Bayes.html
Copyright © 2011-2022 走看看