1.鸢尾花分类实例
转自：https://www.cnblogs.com/luyaoblog/p/6775342.html
数据集：
特点：每个属性及标记之间使用逗号进行隔开。
#encoding:utf-8 from sklearn import svm import numpy as np import matplotlib.pyplot as plt import matplotlib as mpl from matplotlib import colors from sklearn.model_selection import train_test_split def iris_type(s): it = {b'Iris-setosa': 0, b'Iris-versicolor': 1, b'Iris-virginica': 2}#字符编码的问题 return it[s] def show_accuracy(y_hat, y_test, param): pass #空语句，保持结构的完整性。 path = 'C:\Users\85937\Desktop\sj.txt' # 数据文件路径 data = np.loadtxt(path, dtype=float, delimiter=',', converters={4: iris_type}) x, y = np.split(data, (4,), axis=1)#分割前四列为x,最后一列为y x = x[:, :2] #只用了前两列，易于绘图 x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, train_size=0.6) #分割训练集和数据集，训练集是0.6 #clf就是一个超平面了 clf = svm.SVC(C=0.2, kernel='linear', decision_function_shape='ovr')#是分类决策，无论是多少元分类都把它作为二元分类 #clf = svm.SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovr')#gamma是核函数的参数，一般需要通过交叉验证选择。 #c是惩罚系数，默认是1，一般通过交叉验证来得到，当噪声较大时选较小的。满足一个固定的错误率。 clf.fit(x_train, y_train.ravel()) print (clf.score(x_train, y_train)) # y_hat = clf.predict(x_train) show_accuracy(y_hat, y_train, '训练集') print (clf.score(x_test, y_test)) #在测试集上的精度 y_hat = clf.predict(x_test) show_accuracy(y_hat, y_test, '测试集') print ('decision_function: ', clf.decision_function(x_train))#计算样本点到超平面的函数距离 print (' predict: ', clf.predict(x_train))#对以上的结果进行测试 x1_min, x1_max = x[:, 0].min(), x[:, 0].max() # 第0列的范围 x2_min, x2_max = x[:, 1].min(), x[:, 1].max() # 第1列的范围 x1, x2 = np.mgrid[x1_min:x1_max:200j, x2_min:x2_max:200j] # 生成网格采样点 grid_test = np.stack((x1.flat, x2.flat), axis=1) # 测试点 #下面都是进行绘图的操作了。 mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] = False cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF']) cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b']) # print 'grid_test = ', grid_test grid_hat = clf.predict(grid_test) # 预测分类值 grid_hat = grid_hat.reshape(x1.shape) # 使之与输入的形状相同 alpha = 0.5 plt.pcolormesh(x1, x2, grid_hat, cmap=cm_light) # 预测值的显示 # plt.scatter(x[:, 0], x[:, 1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本 plt.plot(x[:, 0], x[:, 1], 'o', alpha=alpha, color='blue', markeredgecolor='k') plt.scatter(x_test[:, 0], x_test[:, 1], s=120, facecolors='none', zorder=10) # 圈中测试集样本 plt.xlabel(u'花萼长度', fontsize=13) plt.ylabel(u'花萼宽度', fontsize=13) plt.xlim(x1_min, x1_max) plt.ylim(x2_min, x2_max) plt.title(u'鸢尾花SVM二特征分类', fontsize=15) # plt.grid() plt.show()
//这个真的是超好的一个例子。都不知道该怎么去总结了。
这个就是调用sklearn包去实现，主要的问题在于如何处理这个数据，处理函数过程就直接调用了。
1.首先是numpy的loadtext函数，（路径，数据类型，分隔符，转换）。其中转换是将鸢尾花类型转换为可以处理的。
2.numpy的split函数，（数据，分割的界限，水平方向还是竖直方向）
3.将数据分为训练集和测试集。
4.其中svm的SVC函数，（惩罚系数，核函数，决策函数类型）
其中惩罚系数：是关于分类器的精度，越大分类精度越高，但是会可能出现过拟合
核函数：leaner/rbf(高斯核函数)，当是rbf时，有一个参数gamma，当gamma值越小时分类界面越连续；当gamma值越大时，分类界面越分散，可能会出现过拟合的情况。
重点就是这个决策函数类型了吧，因为当前的数据其实不是一个二分类问题，而是有3中分类结果，那么如何用一个二分类其处理多分类的问题呢？有两种方法如下：
//之后的代码就是验证精度，之后就是画图了，以我现在的水平还看不懂。
2.如何将二分类器作为多分类器呢？
转自：https://blog.csdn.net/quinn1994/article/details/82662603
第一：一对一的方法。就是在任意两对样本之间都训练一个二分类器，那么当有一个新样本需要预测的时候，最后得票数最多的类别就是该样本的预测类别。
但是这种方法非常耗费资源，有n个类别的时候，n*(n-1)个分类器。
第二：一对多的方法。就是为每个类创建一个分类器，最后的预测类别是具有最大SVM间隔的类别。
当一个测试样本输入的时候，这n个分类器都进行预测，最后判定为得分最高的类别。这样相较于上上边是非常节约资源的。
4.其中rbf核函数的参数
还记得Ng的课上说，C相当于正则化项系数1/lamda，当时还不太理解，又看了一下这个博客理解了。
https://blog.csdn.net/ybdesire/article/details/53915093
也就是C愈大，那么模型就越复杂，拟合非线性能力非常强。
C越大，高方差；C越小，高偏差。
对于rbf中高斯核函数，当σ越大时，曲线越胖，那么对于支持向量附近的样本就作用范围大；
当σ越小时，曲线越瘦，那么只能作用于支持向量样本附近，对于未知样本分类效果差，存在训练准确率高，而测试准确率不高的情况，也就是过拟合的情况。
那么对这一句调用代码：clf = svm.SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovr')#gamma是核函数的参数，一般需要通过交叉验证选择。
使用了svm中的rbf核函数，其中gamma和高斯函数中的σ有什么关系呢？
转自：https://blog.csdn.net/lujiandong1/article/details/46386201
那么在这里看这句调用代码：当C设置的过大的时候，惩罚系数过大，越不能容忍出现误差，会出现曲线过于复杂而过拟合；C越小欠拟合；总之C过大或者过小，都会泛化能力变差。
对于gamma，当gamma过大，也就是σ过小，会出现我们说的过拟合的情况；反之，当gamma过小，σ过大，会出现欠拟合的情况。
那么到底该如何设置参数呢？如何训练参数呢？
转自：https://blog.csdn.net/u011285477/article/details/51900752
使用K折交叉验证，对于数据集，分为K份，每份都作为一次测试集，也就是需要训练K次，得到K个模型，K通常使用10，
最终选取分类准确率最高的一组的参数c和g作为模型参数。
这种思想可以用网格参数寻优来实现，参数C的变化范围，和参数g的变化范围，要在其间找到最优的RBF核参数，
默认步长为1，选出最佳c,g组合。