朴素贝叶斯

优点：在数据少的情况下仍然有效，可以处理多类别问题。

缺点：对于输入数据的准备方式较为敏感。

适用数据类型：标称型数据。

使用条件概率来分类

贝叶斯决策理论计算两个概率p1(x,y)和p2(x,y)：

·如果p1(x,y) > p2(x,y)，那么属于类别1；

·如果p2(x,y) > p1(x,y)，那么属于类别2。具体的，应用贝叶斯准则得到：p(c_i|x,y)=p(x,y|c_i)P(c_i)/p(x,y)

  由统计学得知，如果每个特征需要N个样本，那么对于10个特征将需要N¹⁰个样本，对于包含1000个特征的词汇表将需要N¹⁰⁰⁰个样本。可以看到，所需要的样本数会随着特征数目增大而迅速增长。如果特征之间相互独立那么样本数就可以减少到Nx1000。

朴素贝叶斯分类器的两个假设：特征之间相互独立；每个特征同等重要。（有瑕疵，需改进）

贝叶斯分类模型： 

贝叶斯分类器：

注意点：各特征量值很有可能接近于0，用1+p(w|c)来解决。