k近邻算法
3.1 k近邻算法
k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。下面先叙述k近邻算法，然后再讨论其细节。
算法3.1（k近邻法）
输入：训练数据集
其中，xi∊x⊆Rn为实例的特征向量，yi∊＝{c1，c2,…,cK}为实例的类别，i＝1,2,…,N；实例特征向量x；
输出：实例x所属的类y。
（1）根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x的邻域记作Nk(x)；
（2）在Nk(x)中根据分类决策规则（如多数表决）决定x的类别y：
式（3.1）中，I为指示函数，即当yi＝cj时I为1，否则I为0。
k近邻法的特殊情况是k＝1的情形，称为最近邻算法。对于输入的实例点（特征向量）x，最近邻法将训练数据集中与x最邻近点的类作为x的类。
k近邻法没有显式的学习过程。
3.3k近邻法的实现：kd树
实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。
k近邻法最简单的实现方法是线性扫描（linear scan）。这时要计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的。
为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。具体方法很多，下面介绍其中的kd树（kd tree）方法[1]。
3.3.1 构造kd树
kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd树是二叉树，表示对k维空间的一个划分（partition）。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。
构造kd树的方法如下：构造根结点，使根结点对应于k维空间中包含所有实例点的超矩形区域；通过下面的递归方法，不断地对k维空间进行切分，生成子结点。在超矩形区域（结点）上选择一个坐标轴和在此坐标轴上的一个切分点，确定一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域（子结点）；这时，实例被分到两个子区域。这个过程直到子区域内没有实例时终止（终止时的结点为叶结点）。在此过程中，将实例保存在相应的结点上。
通常，依次选择坐标轴对空间切分，选择训练实例点在选定坐标轴上的中位数（median）[2]为切分点，这样得到的kd树是平衡的。注意，平衡的kd树搜索时的效率未必是最优的。
下面给出构造kd树的算法。
算法3.2（构造平衡kd树）
输入：k维空间数据集T＝{x1，x2,…,xN}，
输出：kd树。
（1）开始：构造根结点，根结点对应于包含T的k维空间的超矩形区域。
选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(1)垂直的超平面实现。
由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域。
将落在切分超平面上的实例点保存在根结点。
（2）重复：对深度为j的结点，选择x(l)为切分的坐标轴，l＝j(modk)+1，以该结点的区域中所有实例的x(l)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(l)垂直的超平面实现。
由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(l)小于切分点的子区域，右子结点对应坐标x(l)大于切分点的子区域。
将落在切分超平面上的实例点保存在该结点。
（3）直到两个子区域没有实例存在时停止。从而形成kd树的区域划分。
例3.2 给定一个二维空间的数据集：
构造一个平衡kd树[3]。
解 根结点对应包含数据集T的矩形，选择x(1)轴，6个数据点的x(1)坐标的中位数是7，以平面x(1)＝7将空间分为左、右两个子矩形（子结点）；接着，左矩形以x(2)＝4分为两个子矩形，右矩形以x(2)＝6分为两个子矩形，如此递归，最后得到如图3.3所示的特征空间划分和如图3.4所示的kd树。
下面叙述用kd树的最近邻搜索算法。
算法3.3（用kd树的最近邻搜索）
输入：已构造的kd树；目标点x；
输出：x的最近邻。
（1）在kd树中找出包含目标点x的叶结点：从根结点出发，递归地向下访问kd树。若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点。直到子结点为叶结点为止。
（2）以此叶结点为“当前最近点”。
（3）递归地向上回退，在每个结点进行以下操作：
（a）如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。
（b）当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一子结点对应的区域是否有更近的点。具体地，检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。
如果相交，可能在另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点。接着，递归地进行最近邻搜索；
如果不相交，向上回退。
（4）当回退到根结点时，搜索结束。最后的“当前最近点”即为x的最近邻点。
如果实例点是随机分布的，kd树搜索的平均计算复杂度是O(logN)，这里N是训练实例数。kd树更适用于训练实例数远大于空间维数时的k近邻搜索。当空间维数接近训练实例数时，它的效率会迅速下降，几乎接近线性扫描。
1 # coding:utf-8 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 T = [[2, 3], [5, 4], [9, 6], [4, 7], [8, 1], [7, 2]] 6 S=[7, 3] 7 8 class node: 9 def __init__(self, point): 10 self.left = None 11 self.right = None 12 self.point = point 13 self.parent = None 14 pass 15 16 def set_left(self, left): 17 if left == None: pass 18 left.parent = self 19 self.left = left 20 21 def set_right(self, right): 22 if right == None: pass 23 right.parent = self 24 self.right = right 25 26 def median(lst): 27 m = len(lst) / 2 28 return lst[m], m 29 30 def build_kdtree(data, d): 31 data = sorted(data, key=lambda x: x[d]) 32 p, m = median(data) 33 tree = node(p) 34 del data[m] 35 if m > 0: tree.set_left(build_kdtree(data[:m], not d)) 36 if len(data) > 1: tree.set_right(build_kdtree(data[m:], not d)) 37 return tree 38 39 def distance(a, b): 40 return ((a[0] - b[0]) ** 2 + (a[1] - b[1]) ** 2) ** 0.5 41 42 def search_kdtree(tree, target,best=[]): 43 if len(best)==0: best = [tree.point,distance(tree.point, target)] 44 if target[0] < tree.point[0]: 45 if tree.left != None: 46 return search_kdtree(tree.left, target, best) 47 else: 48 if tree.right != None: 49 return search_kdtree(tree.right, target, best) 50 def update_best(t, best): 51 if t == None: return 52 t = t.point 53 d = distance(t, target) 54 if d < best[1]: 55 best[1] = d 56 best[0] = t 57 while (tree.parent != None): 58 update_best(tree.parent.left, best) 59 update_best(tree.parent.right, best) 60 tree = tree.parent 61 return best[0] 62 63 def showT(tree,d): 64 plt.plot(tree.point[0],tree.point[1],'ob') 65 if tree.parent==None: 66 plt.plot([tree.point[0],tree.point[0]],[0,10]) 67 elif d: 68 if tree.point[0]<tree.parent.point[0]: 69 plt.plot([0,tree.parent.point[0]],[tree.point[1],tree.point[1]]) 70 else: 71 plt.plot([tree.parent.point[0],10],[tree.point[1],tree.point[1]]) 72 else: 73 if tree.point[1]<tree.parent.point[1]: 74 plt.plot([tree.point[0],tree.point[0]],[0,tree.parent.point[1]]) 75 else: 76 plt.plot([tree.point[0],tree.point[0]],[tree.parent.point[1],10]) 77 if tree.left != None: 78 showT(tree.left,not d) 79 if tree.right != None: 80 showT(tree.right,not d) 81 82 kd_tree = build_kdtree(T, 0) 83 showT(kd_tree,0) 84 plt.annotate('S',xy = (S[0],S[1]+0.2)) 85 plt.plot(S[0],S[1],'^r') 86 result=search_kdtree(kd_tree,S) 87 print result #[7, 2] 88 plt.show()
