K近邻分类算法

1、算法思路

　　通过计算每个训练样例到待分类样品的距离，取和待分类样品距离最近的K个训练样例，K个样品中哪个类别的训练样品占比较多，则该分类样品就属于哪个类别。

2、算法步骤：

（1）初始化距离为最大值

（2）计算未知样本和每个训练样本的距离dist

（3）得到目前K各最临近样本中的最大距离maxdist

（4）如果dist小于maxdist，则将该样本作为K—最近邻样本

（5）重复步骤2/3/4，直到位置样本和所有训练样本的距离

（6）统计K—最近邻样本中每个类标号出现的次数

（7）选择出现频率最大的类标号作为未知样本的类标号

3、算法优缺点

优点：简单、易于理解和实现，无需估计参数，无需训练，是和赝本容量比较大的分类问题，特别适合多分类问题

缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大，评分慢，可解释性较差，无法给出决策树那样的规则，对于样本量较小的分类问题，或产生误分

4、常见问题

（1）K设置多大合适：

K太小，分类结果容易受到噪声点影响，K太大，近邻中可能包含太多其他类别的点（对距离加权，可以降低K值设定的影响）

K值通常采用交叉检验来确定（以K=1为基准）  经验规则，K一般低于训练样本数的平方根

（2）类别如何判定合适

股票法没有考虑近邻的距离远近，距离更近的近邻也许更应该决定最终的分类，所以加权投票法更加恰当。

（3）如何选择合适的距离衡量

高维度对距离衡量的影响：众所周知变量数越多，欧式距离的区分能力越差；

变量值域对距离的影响：值越大的变量常常在距离的计算值占据主导作用，因此应先对变量进行标准化

（4）训练样本是否要一视同仁

在训练集中，有些样本可能是更值得依赖的，可以给不同的样本施加不同的权重，加强依赖样本的权重，降低不可信赖样本的影响

（5）性能问题

KNN是一种懒惰算法，平时不训练，直到实际分类时才临时去找K个近邻

懒惰的后果，构造模型简单，但是在对测试样本分类时系统开销大，因为要扫描全部的训练样本并计算距离

已经有的方法提高计算的效率：压缩训练样本量等

（6）能发大幅度减少训练样本量有保持分类精度

浓缩技术

编辑技术

（7）python实现电影分类

import numpy as np 
from sklearn import neighbors 
knn = neighbors.KNeighborsClassifier() #取得knn分类器 
data = np.array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]]) # <span style=
　　　　　　　　　"font-family:Arial, Helvetica, sans-serif;">data对应着打斗次数和接吻次数</span> 
labels = np.array([1,1,1,2,2,2]) #<span style="font-family:Arial, Helvetica, 
sans-serif;">labels则是对应Romance和Action</span> 
knn.fit(data,labels) #导入数据进行训练''' 
#Out：KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski', 
 　　　　　　　metric_params=None, n_jobs=1, n_neighbors=5, p=2, 
　　　　　　　 weights='uniform') 
knn.predict([18,90])