GridSearchCV网格搜索得到最佳超参数, 在K近邻算法中的应用

　　最近在学习机器学习中的K近邻算法, KNeighborsClassifier 看似简单实则里面有很多的参数配置, 这些参数直接影响到预测的准确率. 很自然的问题就是如何找到最优参数配置? 这就需要用到GridSearchCV 网格搜索模型. 

　　在没有学习到GridSearchCV 网格搜索模型之前, 寻找最优参数配置是通过人为改变参数, 来观察预测结果准确率的. 具体步骤如下:

1. 修改参数配置
2. fit 训练集
3. 预测测试集
4. 预测结果与真实结果对比
5. 重复上述步骤

　　GridSearchCV 网格搜索模型寻找最优参数的步骤如下:

1. 将各种参数配置封装为列表
2. 实例化分类器
3. 使用GridSearchCV 为分类器和参数建模
4. 实例化模型, 并用新的模型对象fit训练集
5. 得到最好的参数配置
6. 用最优参数去预测数据

　　于是我的疑问就来了, GridSearchCV 并没有去预测测试集,进而得到预测结果,并在与真实结果的对比中找到最优的参数配置, 没有这个步骤,它是怎么得到最优参数的? 搜索了很多,终于在这个网页中得到了想要的信息: python – GridSearchCV是否执行交叉验证？ http://www.cocoachina.com/articles/67515 

　　简单说就是我们把训练集传递给GridSearchCV, 它会进一步将训练集分为训练集和测试集, 然后通过不断调整超参数, 进行交叉验证, 最后获得最优参数. 

　　GridSearchCV会主动将数据分为训练集和测试集,这就是原因所在了.

　　代码实现:

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV


# 1/获取数据
digits = datasets.load_digits()
X = digits.data
y = digits.target

# 2/分割数据,得到训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)


# 3/超参数配置
param_grid = [
    {
        "weights":["uniform"],
        "n_neighbors":[i for i in range(1,11)]
    },
    {
        "weights":["distance"],
        "n_neighbors":[i for i in range(1,11)],
        "p":[i for i in range(1,6)]
    }
]


# 4/为分类器和超参数搭建模型
knn_clf = KNeighborsClassifier()
grid_search = GridSearchCV(knn_clf, param_grid, n_jobs=-1, verbose=2)

# 5/实例化模型(多种参数配置的分类器)fit训练集,
# 本质上是将训练集进一步分为训练集和测试集,得到最好的参数配置
# 因为要不断尝试各种参数交叉验证,所以非常耗时
grid_search.fit(X_train, y_train)

# 6/
# 最终拿到最佳参数配置分类器 best_estimator_
knn_clf = grid_search.best_estimator_

# 7/使用最佳分类器对测试集预测
y_predict = knn_clf.predict(X_test)

# 8/得到准确率
accuracy_score(y_test, y_predict))