朴素贝叶斯分类器(Navie Bayesian Classifier)中的几个要点(一)

关键字:

• 拉普拉斯修正(Laplacian correction)
• 懒惰学习(lazy leanring)
• 对数似然(log-likelihood)

拉普拉斯修正(Laplacian correction)

朴素贝叶斯分类器的训练:

• 基于训练集D 来估计类先验概率P(y)
• 基于训练集D 为每个属性估计条件概率P(x|y)

因此当在某个训练集中,样本的一条特征值 EV 出现概率为 0 时,则会使计算的先验概率与条件概率的连乘结果为 0

例如 : 在多个特征值 EVi 中EV2 在训练集 D 中出现的次数,则 P(EVi|yes)=P(EV1 = XX|EV2 = XX|…|EVi = XX|result = yes/no) = ? * 0 * … * ? = 0 / ? = 0

懒惰学习(lazy leanring)

在朴素贝叶斯算法的实际使用中,根据不同的实际情况,可以分为三个情况,懒惰学习只是其中之一:

• 如果任务对预测速度要求较高,则可以先用朴素贝叶斯分类器先对给定训练集进行训练,并将最后的计算结果计算好存储为 “结果表”,这样在进行预测时只需要查找”结果表”就可以进行预测
• 如果任务数据需要频繁更替,则可以采用”懒惰学习”(lazy Learning),即先不进行训练,等到收到预测请求后再根据当前的数据集进行计算
• 如果数据不断增加,则可在已有的估值基础上,仅对新增样本的特征值所涉及的概率估计进行计数修正即可实现增量学习

对数似然(log-likelihood)

使用数值运算时,为了避免连乘操作造成下溢,通常使用对数似然(log-likelihood)

参考书籍:

1.周志华 <<机器学习>>

2.李航 <<统计学习方法>>