机器学习【三】朴素贝叶斯

基于贝叶斯理论的有监督学习算法

“朴素”：

因为这个算法是 基于样本特征之间相互独立的“朴素”假设

正因为如此，由于不考虑样本之间特征的关系——> 朴素贝叶斯分类器效率极高

朴素贝叶斯基本概念

1.贝叶斯定理

 

详细：https://www.jianshu.com/p/7e8504e9b929

2.简单应用

用1表示下雨，0表示不下雨：
过去的7天可以表示为： y = [0,1,1,0,1,0,0]

和气象有关的别的信息，如刮北风，闷热，多云，天气预保是否有雨——> 用1表示是，0表示否

则可得：X = [0,1,0,1],[1,1,1,0],[0,1,1,0],[0,0,0,1],[0,1,1,0],[0,1,0,1],[1,0,0,1]

 数据关系：

#导入numpy
import numpy as np
#讲X，y赋值为np数组
X = np.array([[0,1,0,1],
[1,1,1,0],
[0,1,1,0],
[0,0,0,1],
[0,1,1,0],
[0,1,0,1],
[1,0,0,1]])
y = np.array([0,1,1,0,1,0,0])
#对不同分类计算每个特征为1的数量
counts = {}
for label in np.unique(y):
    counts [label] = X[y == label].sum(axis=0)
#打印计数结果
print("feature counts:{}".format(counts))

【结果分析：】

y = 0即无雨的4天中，1天刮北风，2天闷热，0天多云，4天天气预保有雨

y = 1即有雨的3天中，1天刮北风，3天闷热，3天多云，0天天气预保有雨

对于朴素贝叶斯来说，会根据上述的计算来推理，它会认为，如果天气预保没雨，但出现了多云，会倾向于把这一天放到“下雨”分类中

#导入贝努利贝叶斯
from sklearn.naive_bayes import BernoulliNB
#使用贝努利贝叶斯拟合数据
clf = BernoulliNB()
clf.fit(X,y)
#要预测的这一天，没有北风，也不闷热，但多云，天气预报没说下雨
Next_Day = [[0,0,1,0]]
pre = clf.predict(Next_Day)
#结果
if pre == [1]:
    print ("下雨")
else:
    print ("晴天")

下雨

如果另外一天，刮北风，闷热，不多云，预保有雨会怎样？

#假设另一天的数据如下
Another_day = [[1,1,0,1]]
#使用训练好的模型预测
pre2 = clf.predict(Another_day)
#结果
if pre2 ==[1]:
    print("下雨")
else:
    print("晴天")

晴天

准确率？

#第一天准确率
print(clf.predict_proba(Next_Day))
#第二天准确率
print(clf.predict_proba(Another_day))

【第一个是不下雨的概率，第二个是下雨的概率】

 
# 朴素贝叶斯是相当好的分类器，但对于预测具体的数值并不是很擅长，所以predict_proba给出的预测概率，不要太当真

朴素贝叶斯的不同方法

 在sklearn中，朴素贝叶斯有三种方法：贝努利朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯

贝努利朴素贝叶斯

适合符合贝努利分布【二项分布】的数据集

刚才的例子，数据集中的每个特征只有0 1 两个数值，贝努利表现不错，下方使用更复杂的数据集：

#导入数据集生成工具
from sklearn.datasets import make_blobs
#导入数据集拆分工具
from sklearn.model_selection import train_test_split
#生成样本数据量为500，分类数为5的数据集
X,y = make_blobs(n_samples=500,centers=5,random_state=8)
#将数据集拆分为训练集和测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=8)
#使用贝努力贝叶斯拟合数据
nb = BernoulliNB()
nb.fit(X_train,y_train)
#结果
print(nb.score(X_test,y_test))

0.544

得分很差，只有一半的数据被放进了正确的分类中

用图像了解贝努利朴素贝叶斯的工作过程：

#导入画图工具
import matplotlib.pyplot as plt
#限定横纵轴的最大值
x_min,x_max =  X[:,0].min() -0.5,X[:,0].max() +0.5
y_min,y_max =  X[:,1].min() -0.5,X[:,1].max() +0.5
#用不同的背景色表示不同的分类
xx,yy = np.meshgrid(np.arange(x_min,x_max,.02),
np.arange(y_min,y_max,.02))
z = nb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
#将训练集和测试集的结果用散点图表示
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',edgecolor='k')
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
#定义图题
plt.title("Classifier:BernoulliNB")
plt.show()

【结果分析】：模型非常简单，在横轴=0和纵轴=0的位置画两条直线，再用这两条直线形成的四个象限对数据分类

这是因为使用了默认的参数 bnarize = 0.0 所以，模型对于数据的判断就是 如果特征1    > /=0，且特征2 >/=0,分为1类；如果特征1 < 0且特征2 <0,分为另一类；其余的都分为一类

高斯朴素贝叶斯

 适用：样本的特征符合高斯分布【正态分布】

对上方实例采用高斯朴素贝叶斯算法：

#导入高斯朴素贝叶斯
from sklearn.naive_bayes import GaussianNB
#使用高斯朴素贝叶斯拟合数据
gnb = GaussianNB()
gnb.fit(X_train,y_train)
#结果
print(gnb.score(X_test,y_test))

0.968

用图像演示以了解工作过程：

#用不同的色块表示不同的分类
z = gnb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
#用散点图画出训练集和测试集的数据
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',edgecolor='k')
#设置横纵轴范围
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
#定义图题
plt.title("Classifier:GaussianNB")
plt.show()

【结果分析】：分类边界更复杂，基本把数据点都放进了正确的分类中

多项式朴素贝叶斯

 用于拟合多项式分布的数据集

二项式分布——> 抛硬币【结果只有2个，正反】

多项式分布——> 掷骰子【6个面，有6个结果，如果掷n次，而每个面朝上的次数的分布情况就是一个多项式分布】

继续用上上方的数据集实验：

#导入多项式朴素贝叶斯
from sklearn.naive_bayes import MultinomialNB
#拟合数据
mnb = MultinomialNB()
mnb.fit(X_train,y_train)
mnb.score(X_test,y_test)

会报错！！！

 输入的X值必须非负！

 对数据预处理：

#导入多项式朴素贝叶斯
from sklearn.naive_bayes import MultinomialNB
#导入数据预处理工具MinMaxScaler
from sklearn.preprocessing import MinMaxScaler
#使用MinMaxScaler对数据预处理，使数据全部非负
scaler = MinMaxScaler()
scaler.fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)
#拟合
mnb = MultinomialNB()
mnb.fit(X_train_scaled,y_train)
#结果
print(mnb.score(X_test_scaled,y_test))

0.32

 用图形表示的话，可以看出多项式朴素贝叶斯不适用此数据集：

#用不同的色块表示不同的分类
z = mnb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
#用散点图画出训练集和测试集的数据
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',edgecolor='k')
#设置横纵轴范围
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
#定义图题
plt.title("Classifier:MultinomialNB")
plt.show()

【结果分析】：多项式朴素贝叶斯只适合用来对非负离散数值特征进行分类

典例就是，对转化为向量后的文本数据进行分类

#本例中，用MinMaxScaler 对数据预处理，其作用是将数据集中的特征值转化为 0~1 

实战——判断肿瘤良性还是恶性

1. 此数据集包含569个病例的数据样本，每个样本有30个特征值，样本共分为2类：恶性 良性

#导入肿瘤数据集
from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
#打印数据集键值
print(cancer.keys())
#打印分类
print(cancer['target_names'])
#打印特征名称
print(cancer['feature_names'])

2. 分析，这个数据集的特征并不属于二项分布，也不属于多项式分布，所以选择高斯朴素贝叶斯建模

首先，将数据集拆分为训练集和测试集：

#将数据集的数值和分类目标复制给x y
X, y = cancer.data,cancer.target
#使用数据集拆分工具
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=8)
#打印训练集和测试集的数据形态
print(X_train.shape)
print(X_test.shape)

 其次，拟合训练集：

#使用高斯朴素贝叶斯拟合
gnb = GaussianNB()
gnb.fit(X_train,y_train)
#打印评分
print(gnb.score(X_train,y_train))
print(gnb.score(X_test,y_test))

 

随机用样本让模型预测：如第312个样本

#预测分类
print(gnb.predict([X[312]]))
#正确分类
print(y[312])

 

高斯朴素贝叶斯的学习曲线：

学习曲线：

指随着数据集样本数量的增加，模型得分变化情况

 #导入学习曲线库
from sklearn.model_selection import learning_curve
#导入随机拆分工具
from sklearn.model_selection import ShuffleSplit
#定义一个函数绘制学习曲线
def plot_learning_curve(estimator,title,X,y,ylim=None,cv=None,n_jobs=1,train_sizes=np.linspace(.1,1.0,5)):
　　 plt.figure()
　　plt.title(title)
　　if ylim is not None:
  　　　　plt.ylim(*ylim)
 #设置横轴标签
　　plt.xlabel("Training examples")
 #设置纵轴标签
　　plt.ylabel("Score")
　　train_sizes,train_scores,test_scores = learning_curve(estimator,X,y,cv=cv,n_jobs=n_jobs,train_sizes=train_sizes)
　　train_scores_mean = np.mean(train_scores,axis=1)
　　test_scores_mean = np.mean(test_scores,axis=1)
　　plt.grid()
　　plt.plot(train_sizes,train_scores_mean,'o-',color='r',label="Training score")
　　plt.plot(train_sizes,test_scores_mean,'o-',color='g',label="Croass-validation score")
　　plt.legend(loc="Lower right")
　　return plt
#设置图题
title = "Learning Curves (Naive Bayes)"
#设定拆分数量
cv = ShuffleSplit(n_splits=100,test_size=0.2,random_state=0)
#设定模型为高斯朴素贝叶斯
estimator = GaussianNB()
#调用定义好的函数
plot_learning_curve(estimator,title,X,y,ylim=(0.9,1.01),cv=cv,n_jobs=4)
plt.show()

 【结果分析】：模型交叉验证得分变化不怎么明显-—>高斯朴素贝叶斯在预测方面，对于样本数量的要求不苛刻

• 高斯朴素贝叶斯 可以应用于任何连续数值型的数据集中，如果是符合正态分布的数据集的话，得分会更高
• 相对于线性模型，朴素贝叶斯效率更高——> 把数据集中的各个特征看作完全独立的，不考虑特征之间的关联关系，但同时，泛化能力更弱
• 大数据时代，很多数据集的样本特征成千上万，这种情况下，模型的效率要比泛化性能多零点几个百分点的得分更重要