KNN（K Nearest Neighbor）算法
一、算法思想：
假设一个样本空间里的样本分成几个类型[1]，然后给定一个待分类的数据，通过计算距离该数据最近的K个样本来判断这个待分类数据属于哪个分类。简单的说，就是由那些里自己最近的K个样本点投票决定待分类数据归为哪一类。
二、实例说明：
下图中有两种类型的样本数据，一类是蓝色的正方形，另一类是红色的三角形，中间那个绿色的圆形是待分类数据；
图 1 KNN算法示例
如果K=3，那么离绿色点最近的有2个红色的三角形和1个蓝色的正方形，这三个点进行投票，于是绿色的待分类点就属于红色的三角形。
如果K=5，那么离绿色点最近的有2个红色的三角形和3个蓝色的正方形，这五个点进行投票，于是绿色的待分类点就属于蓝色的正方形。
三、算法描述
KNN算法的步骤可以描述为[2]：
1、计算出样本数据和待分类数据的距离；
2、为待分类数据选择K个与其距离最小的样本；
3、统计出K个样本中大多数样本所属的分类；
4、这个分类就是待分类数据所属的分类。
四、注意事项：
K应该设置为一个奇数，这样可以保证投票的时候不会有平票。
参考文献：
[1] 《K Nearest Neighbor 算法》 http://coolshell.cn/articles/8052.html
[2] 《数据挖掘之分类 （KNN算法的描述及使用）》 http://ahuaxuan.iteye.com/blog/164435