zoukankan      html  css  js  c++  java
  • 贝叶斯方法的m-估计

    为什么要有m-估计?

    当我们通过在全部事件的基础上观察某事件出现的比例来估计概率时,例如:P=nc/n.,其中nc为该类别中的样本数量,n为总样本数量。若n=5,当P=0.6时,则nc为3。多数情况下该比例是对概率的一个良好的估计。但当nc很小时估计会较差,例如:P=0.08,样本中同样有5个样例,那么对于nc最可能的取值只有0,。这会导致两个问题:

    1、nc/n产生了一个有偏的过低估计概率。

    2、当此概率估计为0时,将来的查询此概率项将会在贝叶斯分类器中占统治地位。原因是贝叶斯公式中计算得量其他所有概率项都将乘以此0值。

    为了避免此问题,所以需要采用一种估计概率,即如下定义的m-估计:

     

    其中nc为该类别中的样本数量,n为总样本数量,p为将要确定的概率的先验估计,m为等效样本大小的常量。

     

     

    为什么m-估计的公式是这样的?

    首先,请思考问题出现的根本原因,问题出现的根本原因是样本数量过小。所以为了避免此问题,最好的方法是等效的扩大样本的数量,即在为观察样本添加m个等效的样本,所以要在该类别中增加的等效的类别的数量就是等效样本数m乘以先验估计p。

     

    为什么在贝叶斯应用(如mahout)中使用的公式如下呢?

     

    其中nk为单词W出现的次数,n为所有单词出现的次数。

    其实,这只是m的取值的关系,当等效样本数m为词汇表中的单词数时,自然取统一的先验概率的p的值就是1/|vocabulary|咯。

    转自:http://www.xuebuyuan.com/1562982.html

  • 相关阅读:
    Redis学习——(1)Redis安装与配置
    Ubuntu14.04安装Apache2+SVN+Trac
    Ubuntu14.04配置文件Apache2.conf
    Ubuntu系统用户忘记密码
    java中无符号类型的处理[转]
    Golang 切片(slice)扩容机制源码剖析
    无线网络:无线城域网和无线广域网
    vue项目 镜像重置的命令
    批量下载阿里云rpm包
    HttpClient psot和get请求
  • 原文地址:https://www.cnblogs.com/gswang/p/7509024.html
Copyright © 2011-2022 走看看