统计学习方法 李航---第3章 k近邻法

第3章 k近邻法   

k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。

3.1 k近邻算法

3.2   k近邻模型

k近邻法三个基本要素：距离度量、k值的选择和分类决策规则

 

距离度量:  常用欧氏距离，其他距离

L_p距离(与distance)

当p=2时，称为欧氏距离(Euclidean distance)

当p=1时，称为曼哈顿距离(Manhattan distance )

Minkowski距离

k值的选择

如果选择较小的k值，“学

习”的近似误差( approximation ertor)会减小，只有与输入实例较近的(相似的)

训练实例才会对预测结果起作用。但缺点是“学习”的估计误差(estimarion ertor)

会增大，预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰巧是噪声，

预测就会出错.换句话说，k值的减小就意味着整体模型变得复杂，容易发生过

拟合。

如果选择较大的k值，正好相反，

k值的增大

就意味着整体的模型变得简单.

如果k=N，那么无论输入实例是什么，都将简单地预测它属于在训练实例

中最多的类。这时，模型过于简单，完全忽略训练实例中的大量有用信息，是不

可取的.

在应用中，k值一般取一个比较小的数值.通常采用交叉验证法来选取最优

的k值.

 

分类决策规则

常用：多数表决规则(majority voting rule)：0-1

损失函数下

经验风险最小化.

 

 

3.3 k近邻法的实现:kd树

kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形

数据结构。kd树是二叉树，表示对k维空间的一个划分(partition)。构造kd树相

当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区

域。kd树的每个结点对应于一个k维超矩形区域.

构造kd树:

• 输入：k维空间数据集

1. 构造根结点，使根结点对应于k维空间中包含所有实
   例点的超矩形区域；
2. 通过下面的递归方法，不断地对k维空间进行切分，生成子结
   点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确
   定一个超平面。这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩
   形区域切分为左右两个子区域(子结点)；这时，实例被分到两个子区域。
3. temp这个
   过程直到子区域内没有实例时终止(终止时的结点为叶结点)。在此过程中，将
   实例保存在相应的结点上。

平衡kd树构造：步骤 2中，

坐标轴选择：对深度为j的结点，选择x(i)为切分的坐标轴，i = j(modk)+1；

切分点选择：选定坐标轴上的中位数(median)为切分点。平衡的kd树搜索时的效率未必是最优的.

 

 

搜索kd树：

算法3.3(用kd树的最近邻搜索)

输入: 已构造的kd树:目标点x;

输出x的最近邻.

1. 在kd树中找出包含目标点x的叶结点:从根结点出发，递归地向下访问kd树.若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点.直到子结点为叶结点为止.
2. 以此叶结点为“当前最近点”.
3. 递归地向上回退，在每个结点进行以下操作:
1. 如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点“
2. 当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一子结点对应的区域是否有更近的点。具体地，检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。如果相交，可能在另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点。接着，递归地进行最近邻搜索。 如果不相交，向上回退。
4. 当回退到根结点时，搜索结束最后的“当前最近点”即为x的最近邻点..

    如果实例点是随机分布的，kd树搜索的平均计算复杂度是O(log N)，这里N是训练实例数。kd树更适用于训练实例数远大于空间维数时的k近邻搜索。当空间维数接近训练实例数时，它的效率会迅速下降，几乎接近线性扫描。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

来自为知笔记(Wiz)