为了便于可视化，样本数据为随机生成的二维样本点。
from matplotlib import pyplot as plt
import numpy as np
import random
def kmeans(a, k):
def randomChoose(a, k):
# 从数组a中随机选取k个元素，返回一个list
args = np.arange(len(a)) # 元素下标
for i in range(k):
x = np.random.randint(i, len(a))
args[x], args[i] = args[i], args[x] # 交换两个数
return a[args[:k]] # 返回前k个元素
def tag(a, center):
dis = np.empty((len(a), len(center)),dtype=np.float)
for i in range(len(a)):
for j in range(len(center)):
dis[i][j] = np.linalg.norm(a[i] - center[j])
label = np.argmin(dis, axis=1)
return label
def get_center(a, label,k):
centers = np.empty((k,a.shape[1]),dtype=np.float)
for i in range(len(centers)):
centers[i] = np.mean(a[label == i],axis=0)
return centers
centers = randomChoose(a, k)
last_label = None
label = tag(a, centers)
while last_label is None or np.any(last_label != label):
# print(centers)
# input()
last_label = label
centers = get_center(a, label,k)
label=tag(a,centers)
return label,centers
a = np.random.random((100, 2))
print(a)
c=['b', 'g', 'r', 'c', 'm', 'y', 'k', 'w']
k=len(c)
label,centers=kmeans(a,k)
a=a.T
fig,ax=plt.subplots(3,3)
ax=ax.reshape(-1)
#需要注意，如果不把全局画出来，看上去聚类效果很差，因为matplot自动缩放坐标轴
for i in range(k):
x,y=a[:,label==i]
ax[i].scatter(x,y,c=c[i])
ax[i].scatter(centers[:,0],centers[:,1],c='r')
ax[-1].set_title("Centers")
ax[-1].scatter(centers[:,0],centers[:,1])
plt.show()
K均值算法有很多可以变化的地方：
- 在求新的聚类中心时，可以直接修改旧的聚类中心
这样类似于迭代法求解线性方程组时的“高斯-赛德尔”迭代法。
这样也可以节省一点点空间，不过没必要。 - 点之间距离的计算
可以用差向量的范数，也可以用余弦距离。
K均值算法可以用于分类。
首先指定聚类个数K，执行聚类算法得到K个聚类，给这K个聚类进行打标签（也就是进行投票，这相当于K近邻算法的投票阶段），预测时计算测试样本离哪个聚类最近，就表示该测试样本的类别。
这样做的好处是，吸收了K近邻的优点，并且降低了时间复杂度（K近邻需要计算测试样本与N个训练样本之间的距离，K均值分类只需要计算测试样本与K个聚类中心之间的距离）。
特别地，当聚类个数K=N的时候，K均值分类就变成了K近邻分类。
下面分析一下KMeans的时空复杂度。
N个样本，每个样本M个属性，聚类个数为K
空间复杂度为O(K*M)，只需要存储下来中心点即可
时间复杂度为
- 更新各点的label，复杂度为O（NKM），需要计算N*K次长度为M的向量模长
- 重新求中心距离，复杂度为O（N*M），需要计算N次长度为M的向量之和
所以，总的时间复杂度为O(NKM)