zoukankan      html  css  js  c++  java
  • 朴素贝叶斯算法

    一、概率定义

     

     

    条件概率:假设A=挂科,B=喝酒,C=逛街,D=学习

    P(AB)AB同时发生

    P(AB) :在已知B条件的情况下,A发生的概率

    已知是否喝酒,挂科的概率

                   喝酒并且挂科的概率

            逛街并挂科的概率

                   学习并且挂科的概率

     

    二、贝叶斯公式推导:

     

     

     

     

     

           ……贝叶斯公式

     

    三、应用

    问题:假如一个学生没有喝酒(x1=0)、没有逛街(x2=0)、学习了(x3=1),是否会挂科

    根据贝叶斯公式可得:

     

     

    分两种情况考虑

    Y=1:

         ……①

    Y=0:

        ……②

    马尔可夫假设:   

     

    所以上述①可推导为:

                   ……③

    ②式可推导为:

             ……④

    由③可得:

     

    由④可得:

     

     

    ,故得结论,没有喝酒、没有逛街、学习了,不挂科的概率要高很多

     

     

     

     

     

     

     


    2   由下表的训练数据学习一个朴素贝叶斯分类器并确定的类标记y,表中为特征,取值的集合分别为,,Y为类标记,

     

     

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

     

    1

    1

    1

    1

    1

    2

    2

    2

    2

    2

    3

    3

    3

    3

    3

     

    S

    M

    M

    S

    S

    S

    M

    M

    L

    L

    L

    M

    M

    L

    L

    Y

    -1

    -1

    1

    1

    -1

    -1

    -1

    1

    1

    1

    1

    1

    1

    1

    -1

     首先计算出如下概率:

     

     

     

    ,

     

    ,

     

    对于给定的计算:

     

     

     

     

    因为比较大,所以Y=-1

     

     

    2 问题同上,按照拉普拉斯平滑估计概率,取γ=1

           为了解决零概率的问题,法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率,所以加法平滑也叫做拉普拉斯平滑。
      假定训练样本很大时,每个分量x的计数加1造成的估计概率变化可以忽略不计,但可以方便有效的避免零概率问题。

     

    利用拉普拉斯平滑概率重新计算概率

     

     

     

     ,

    ,

    ,,

    ,, 

    对于给定的计算:

     

     

     

    因为比较大,所以Y=-1

  • 相关阅读:
    C——联合体(共同体)总结
    JMX操作ActiveMQ(1)
    使用xml和java代码混合控制UI界面
    Hive Metastore ObjectStore PersistenceManager自动关闭bug解析
    (算法课大报告)大数据的查找与排序
    编程珠玑---读书笔记---使用后缀数组查找最长重复子串
    VMware vSphere服务器虚拟化实验十一高可用性之三Fault Tolerance
    签名应用例子
    fopen()惹的祸
    Bigcommerce: 给已完成购买的客户发送一封产品评论邮件,让客户直接进行产品评论
  • 原文地址:https://www.cnblogs.com/baoxuhong/p/9723569.html
Copyright © 2011-2022 走看看