scikit-learn中机器学习模型比较（逻辑回归与KNN）

本文源自于Kevin Markham 的模型评估：https://github.com/justmarkham/scikit-learn-videos/blob/master/05_model_evaluation.ipynb

应办事项：

1. 我的监督学习应该使用哪一个模型
2. 我的模型中应该选择那些调整参数
3. 如何估计模型在样本数据外的表现

评论：

1. 分类任务：预测未知鸢尾花的种类
2. 用三个分类模型：KNN(K=1),KNN(K=5),逻辑回归
3. 需要一个选择模型的方法：模型评估

1. 训练测试整个数据集

---

在整个数集上进行训练，然后用同一个数集进行测试，评估准确度。

 1 from sklearn.datasets import load_iris
 2 from sklearn.linear_model import LogisticRegression
 3 
 4 # 1.read in the iris data
 5 iris=load_iris()
 6 X=iris.data
 7 Y=iris.target
 8 # print(X)
 9 # print(Y)
10 
11 # 2.logistic regression
12 logreg=LogisticRegression()
13 logreg.fit(X,Y)
14 y_pred=logreg.predict(X)
15 print(len(y_pred))

输出结果：

 

会发现有两个warning，但不影响结果，强迫症表示消灭红字。

分析和查阅logisticregression

https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

将 logreg=LogisticRegression() 改为 logreg=LogisticRegression(solver='liblinear',multi_class='ovr') 即可。

 

三者初步比较：

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn import metrics
from sklearn.neighbors import KNeighborsClassifier

# 1.read in the iris data
iris=load_iris()
X=iris.data
Y=iris.target
# print(X)
# print(Y)

# 2.logistic regression
logreg=LogisticRegression(solver='liblinear',multi_class='ovr')
logreg.fit(X,Y)
y_logreg_pred=logreg.predict(X)
print(len(y_logreg_pred))
print(metrics.accuracy_score(Y,y_logreg_pred))

# 3.KNN=5
knn=KNeighborsClassifier(n_neighbors=5)
knn.fit(X,Y)
y_knn5_pred=knn.predict(X)
print(len(y_knn5_pred))
print(metrics.accuracy_score(Y,y_knn5_pred))

# 4.KNN=1
knn=KNeighborsClassifier(n_neighbors=1)
knn.fit(X,Y)
y_knn1_pred=knn.predict(X)
print(len(y_knn1_pred))
print(metrics.accuracy_score(Y,y_knn1_pred))

输出结果：

问题：

1. 目标是评测模型样本以外的数据表现
2. 但是，最大化培训精度奖励过于复杂的模型，模型不能泛化
3. 不必要的复杂模型过度拟合

2. 分开训练和测试集

---

将数据集一分为二，一部分用于训练，另一部分用于测试。

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn import metrics
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

# 1.read in the iris data
iris=load_iris()
X=iris.data
Y=iris.target

# 2.split X,Y
x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.4,random_state=4)
print(x_train.shape)
print(x_test.shape)
print(y_train.shape)
print(y_test.shape)

# 3.logistic regression
logreg=LogisticRegression(solver='liblinear',multi_class='ovr')
logreg.fit(x_train,y_train)
y_logreg_pred=logreg.predict(x_test)
print(metrics.accuracy_score(y_test,y_logreg_pred))

# 3.KNN=5
knn=KNeighborsClassifier(n_neighbors=5)
knn.fit(x_train,y_train)
y_knn5_pred=knn.predict(x_test)
print(metrics.accuracy_score(y_test,y_knn5_pred))

# 4.KNN=1
knn=KNeighborsClassifier(n_neighbors=1)
knn.fit(x_train,y_train)
y_knn1_pred=knn.predict(x_test)
print(metrics.accuracy_score(y_test,y_knn1_pred))

输出结果：

 

观察不同的KNN中的k值对准确度会有什么影响。

 

import matplotlib.pyplot as plt
# print(k_range)
scores=[]
for k in k_range:
    knn=KNeighborsClassifier(n_neighbors=k)
    knn.fit(x_train,y_train)
    y_knnk_pred=knn.predict(x_test)
    scores.append(metrics.accuracy_score(y_test,y_knnk_pred))
plt.plot(k_range,scores)
plt.xlabel('value of k for KNN')
plt.ylabel('testing accurancy')
plt.show()

输出结果：

从上可以观察出k的取值对准确度的影响，k太小或太大都不是最佳值。

3. 预测

---

取k=11（7~16）。

# 6.predict
knn=KNeighborsClassifier(n_neighbors=11)
knn.fit(x_train,y_train)
y_pred=knn.predict([[3,5,4,2]])
print(y_pred)

输出结果：

 

 

4. 附注：

---

KNN算法：https://www.jianshu.com/p/48d391dab189

KNN与K-Means区别：https://www.cnblogs.com/nucdy/p/6349172.html