K-Means 算法

认识

K-Means 是属于聚类算法中的一种, 聚类算法呢, 是属于 无监督学习. 不需要数据的标签(label). 主要用途是为了发现数据中的规律(模式), 就咱平时说的数据挖掘. 使用的场景, 从营销领域来看, 可用来做用户细分, 行为聚类, 精准营销, 推荐系统等, 当然在其他领域,诸如图像分割, 生物研究也可以的.

无监督: 就是只计算特征之间的关系不关注label. 场景的,如 聚类, PCA...

一言蔽之, 物以类聚, 人以群分. 核心是把相似的物体聚在一起, 处理上则是计算物体间的相似度.

K-Means 算法

是一种循环迭代式的算法.

初始化

• 随机选择 K 个点, 作为初始点的中心, 每个点作为一个 group.

交替更新

• 计算每个点到中心点的距离, 把最近的距离记录并将group赋给当前的点
• 针对每一个group的点, 计算其平均并作为这个group的新中心点

循环上两步即可, 从代码的角度讲, 停止循环有两个注意点

• 外层循环,设置一个最大循环次数, 比如100次.
• 计算中心点, 前后两次位置不变 (完全分开了呀)

伪代码

为了说明意思, 搬的伪代码哈, 有空再好好写一波.

def dist_eclud(arr1, arr2):
    """计算两个点之间的欧式距离"""
    return np.sqrt(np.sum((arr1 - arr2)**2))

def random_center(X, k): 
    """随机初始化k个中心点,X 是(n, p)维的样本"""
    # 获取样本矩阵的行列数
    n, p = np.shape(X)
    #创建 k 行 p 列的全为0 的矩阵
    center = np.matrix(np.zeros([k, p]))  
    for j in range(p):
        min_j = np.min(X[:,j])
         # 计算极值
        range_j = float(np.max(X[:,j]) - min_j)    
        # 得到 k 个随机中心点, 每个点是p维度
        center[:,j] = np.mat(min_j + range_j * np.random.rand(k, 1))   
    return center

def fit(X, k):
    # 获取样本数(行数)
    n,p = np.shape(X)
    # 创建一个n行p列的矩阵
    cluster = np.mat(np.zeros([n,p]))
    # 随机初始化k个中心点,每个点是p维
    center = random_center(X, k)
    
    while True:
        for i in range(n):
            # 初始化最小距离 (默认非常大)
            min_dist = np.inf
            # 中心点下标
            min_index = 0
            # 计算k个中心点到该样本的距离
            for j in range(k):
                dist_j = dist_eclud(center[j,:], X[i,:])
                # 更新最小距离
                if dist_j < min_dist:
                    min_dist = dist_j
                    min_index = j 
            # 判断: 如果中心点前后没有变化,说明不能再继续分, 则终止循环
            if cluster[i, 0] != min_index:
                break
            # 将 index, k中心点, 最小距离存到数组
            cluster[i, :] = min_index, min_dist**2
        # 打印中心点
        print(center)
        
        # 更新中心点的位置
        for i in range(k):
            # 平铺cluster 为一个一维数组, 分别找到属于k类的数据
            points = dataSet[np.nonzero(cluster[:,0].A == i)[0]] 
            #得到更新后的中心点
            center[i,:] = np.mean(points, axis = 0)  
    return center, cluster 
            

K-Means 算法特性

当然是考量每一次迭代的复杂度了.

第一步的选取 k 个点, 这里不考虑了, 关键是计算和迭代的部分.

首先,计算每个点到中心点的距离, 把最近的距离记录下来并把group赋给当前点. 假设有 n个样本点.则此过程的时间复杂度为:

(O(kn))

因为有 k 个中心点. 每次计要把 n 个点 计算到 k 个点的距离

然后, 针对每一个 group 里的点, 计算平均作为这个 group 的新中心点. 则此过程的时间复杂度为:

(O(n))

K-means 的几点思考

目标函数

已知观测集 ((x_1, x_2, ... x_n)) 其中每个观测 xi 都是 d 维的实向量. k-平均聚类, 就是要把 这n个观测划分到 k 个集合中 ( k <= n) , 使得簇内平方和最小. 即找到使得下式满足的聚类 (S_i)

(arg min _S sum limits _{i=1}^k sum limits _{x in S_i} ||X-mu_i||^2)

(mu_i) 是 (S_i) 类中的所有点的均值

(sum limits _{x in S_i} ||X-mu_i||^2) 表示类别为 i 的样本点, 到中心的距离尽可能小

外层的求和, 是对每个类到其自身中心的距离, 总体上达到最小

关键: 是如何找到这些 xi

是否一定会收敛

是的

首先, 将N个数据分为 k 个聚类, 最多有 (k^N) 种可能, 这是一个有限的数值. 对于算法迭代, 我们仅基于旧的聚类产生一个新的聚类.

• 如果旧的聚类和新的聚类相同, 则下一次迭代的结果也再次相同
• 新,旧不同, 则更新的群集的目标函数值较低

其次, 算法的不同迭代, 最终会进入一个循环, 即k均值在有限的迭代次数中收敛

不同初始化对结果的影响

不同初始点,会带来不同的结果

K 如何选择

inertia: 群集中,所有点离其所属cluster中心的距离的总和.

不论数据集如何, 随着k的增加, inertia 呈递减趋势, 开始速度很快, 慢慢变小, 会存在一个拐点.

极限情况是, 每一个点都各自一类, 则总距离为0了, 也就没有了所谓 "聚类''的存在

KMeans ++

• 从数据集中随机选择一个中心
• 对于每个 xi, 计算与**已经选择的最接近中心之间的距离 **D(xi)
• 使用加权概率分布随机选择一个新的数据点作为新中心, 该点的概率与 (D(x_i)^2) 成正比
• 重复步骤 2,3 直到选择了 k 个中心
• 根据选择好了的初始中心, 继续使用k-means 聚类

这种算法, 其实就是在选择初始中心的时候, 尽可能 "分布在数据四周" , 后面不变.

KMeans 优缺点

优点

• 容易理解和实现
• 结果的解释性强
• 计算复杂度低

缺点

• 对异常值 和 初始化 非常敏感

• 对数据的 分布不均匀 条件下, 效果不太理想 (样本不均衡就有点麻烦)

• 默认前提假设是特征之间的联合分布是椭圆形的, S形, 环形就凉凉了 ( svm 线性不可分)

• 即便 k 给定, 聚类的结果也不唯一. 最好要多调试几次, 选择 inertia 最小时的参数