作者(Alex Rodriguez, Alessandro Laio)提出了一种很简洁优美的聚类算法, 可以识别各种形状的类簇, 并且其超参数很容易确定.
算法思想
该算法的假设是类簇的中心由一些局部密度比较低的点围绕, 并且这些点距离其他有高局部密度的点的距离都比较大. 首先定义两个值: 局部密度以及到高局部密度点的距离
:
其中
是一个截断距离, 是一个超参数. 所以
相当于距离点i的距离小于
的点的个数. 由于该算法只对
的相对值敏感, 所以对dc的选择比较鲁棒, 一种推荐做法是选择
使得平均每个点的邻居数为所有点的1%-2%.
对于密度最大的点, 设置. 注意只有那些密度是局部或者全局最大的点才会有远大于正常的相邻点间距.
聚类过程
那些有着比较大的局部密度和很大的
的点被认为是类簇的中心。局部密度较小但是δi较大的点是异常点。在确定了类簇中心之后,所有其他点/属于/距离其最近的类簇中心/所代表的类簇(我爱机器学习批注:原文是"assigned to the same cluster as its nearest neighbor of higher density",比它的密度更大的最近邻的类别。感谢邓公@djvu9和各位留言的同学指出错误). 图例如下:
左图是所有点在二维空间的分布, 右图是以ρ为横坐标, 以δ为纵坐标, 这种图称作决策图(decision tree). 可以看到, 1和10两个点的ρi和δi都比较大, 作为类簇的中心点. 26, 27, 28三个点的δi也比较大, 但是ρi较小, 所以是异常点.
[1]. Clustering by fast search and find of density peak. Alex Rodriguez, Alessandro Laio