- 2019-11-09 20:11:26为方便自己收藏学习，转载博文from：https://blog.csdn.net/llhwx/article/details/102652798
knn算法是指对预测集中的每一个图像与训练集中的所有图像比较，寻找出在训练集中与这一张预测图片最接近的图像，将该图像的标签给这张预测图片。实施的方法为图像矩阵相减并取绝对值，然后将得到的像素矩阵各元素相加，找到结果中的最小值，我们说产生这个最小值的图像与该预测图像最接近。
上面所说的是knn算法中当k值等于1的一种情况，这种让一个最小值来决定预测图像标签的方法有些绝对化，容易在某种巧合下产生错误的结果。比如：两张背景是一种颜色的不同物体，他们相减往往会产生一个比较小的值。
k = 1时对应的模型如上图所示：左图中的点代表训练集，他们的颜色代表为某一类，点周围的空白可以看作为预测集。现要按照距离的大小将整个图像分为不同颜色的区域。当k为1时分类结果如右图所示，可以看到图中紫色区域中包含了一小点绿色区域，按照经验来看，在大量紫色点的附近出现的最有可能的是紫色区域，但由于这个绿点(实际上称该点为噪声)的存在，使得结果出现了误差。就像下面这张图，让我们来预测一下虚线点最有可能是什么颜色。当然是红色。回到knn算法的思想，当我们仅用一个最小值来判断该点的颜色，那么就有可能出现判断错误的情况。
那么就可以将knn算法中的k值取其他值，当k等于5的时候，分类结果如下图所示，在大量红色点的周围都是红色区域，在大量紫色点的周围都是紫色区域，在大量绿色点的周围都是绿色区域，这种情况符合我们经验的预测。
回到knn算法上，若当k取5时，则表示在训练集中找到5张与该预测图像相似的图片，看着5张图片的标签哪一个出现的次数最多，出现次数最多的即为该预测图像的标签。若出现次数一样多则表示为图中的空白区域。
——————————分割线——————————
比如：如果k=1就找出来和需要判别值最近邻的一个值。只根据这一个值判别 需要分类的数据属于哪一类。但往往k=1容易出现错误，比如上文提到的如果两张图片的背景同样，但是不同物体，这样判别出的有时不准，。一般K应该取的稍微大，多找一些最近邻值与之相比较。综合判断进行分类。
knn算法一般是通过计算欧式距离找出判别点与哪个标签的距离最小。需要注意的是上文提到了一个针对图像的方法：图像矩阵进行相减去绝对值，然后将得到的像素矩阵各元素进行相加，找到最小值，则需要判别分类的图像就属于最小值对应的图像类。