基于贝叶斯的文本分类实战

http://www.letiantian.me/2015-03-31-bayes-classifier-for-text/

2015-03-31

本文介绍如何使用scikit-learn工具包下的贝叶斯工具进行文本分类。

生成数据集

---

数据集是有8个分类的文本数据集，使用了结巴分词对每个文本分词，每个单词当作特征，再利用二元词串构造更多特征，然后去掉停用词，去掉出现次数太多和太少的特征，得到了19630个特征。取1998个样本用于训练，509个用于测试。基于词袋模型的思路将每个文本转换为向量，训练集和测试集分别转换为矩阵，并用python numpy模块将其保存为npy格式。这个预处理后的数据集保存在了https://github.com/letiantian/dataset-for-classifying。

关于贝叶斯

---

使用朴素贝叶斯分类器划分邮件

朴素贝叶斯的三个常用模型：高斯、多项式、伯努利

导入数据集

---

在https://github.com/letiantian/dataset下载text-classification.7z，解压后导入数据：

$ ls
test_data.npy  test_labels.npy  training_data.npy  training_labels.npy
$ ipython
>>> import numpy as np
>>> training_data = np.load("training_data.npy")
>>> training_data.shape
(1998, 19630)
>>> training_labels = np.load("training_labels.npy")
>>> training_labels
array([6, 6, 6, ..., 2, 2, 2])
>>> training_labels.shape
(1998,)
>>> test_data = np.load("test_data.npy")
>>> test_data.shape
(509, 19630)
>>> test_labels = np.load("test_labels.npy")
>>> test_labels.shape
(509,)

使用多项式贝叶斯

---

>>> from sklearn.naive_bayes import MultinomialNB
>>> clf =MultinomialNB()
>>> clf.fit(training_data, training_labels)  # 训练模型
MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf.predict(test_data)  # 预测训练集
>>> sum(predict_labels == test_labels)       # 预测对了几个？
454
>>> len(predict_labels)                      # 训练样本个数
509
>>> 454./509                                 # 正确率
0.8919449901768173                           # 效果不错
>>> from sklearn.metrics import confusion_matrix 
>>> confusion_matrix(test_labels, predict_labels)  # 混淆矩阵
array([[ 39,   0,   0,   1,   0,   1,   0,   0], 
       [  0,  32,   1,   0,   0,   4,   0,   1],
       [  0,   0,  50,   0,   0,   8,   0,   4],
       [  0,   0,   1,  44,   0,  10,   0,   0],
       [  1,   0,   0,   0,  66,   0,   0,   1],
       [  2,   2,   1,   6,   1, 144,   1,   1],
       [  0,   0,   0,   0,   0,   2,  25,   0],
       [  0,   0,   1,   2,   2,   1,   0,  54]])

使用伯努利贝叶斯

---

>>> from sklearn.naive_bayes import BernoulliNB
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data, training_labels)  # 训练模型
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data)  # 预测训练集
>>> sum(predict_labels == test_labels)        # 预测对了几个？
387
>>> 387./509                                  # 正确率
0.7603143418467584

这个和下面的效果是一样的：

>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data>0, training_labels)
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data>0)
>>> sum(predict_labels == test_labels)
387

使用高斯贝叶斯

---

>>> from sklearn.naive_bayes import GaussianNB
>>> clf3 = GaussianNB()
>>> clf3.fit(training_data, training_labels)   # 训练模型
GaussianNB()
>>> predict_labels = clf3.predict(test_data)   # 预测训练集
>>> sum(predict_labels == test_labels)         # 预测对了几个？
375
>>> 375./509                                   # 正确率
0.7367387033398821