机器学习： K-means 聚类

今天介绍机器学习里常见的一种无监督聚类算法，K-means。我们先来考虑在一个高维空间的一组数据集，S={x1,x2,...,xN}$S=\{{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_N\}$， x∈RD$\mathbf{x}\in {\mathbb{R}}^D$，假设我们需要把这组数据聚集长 K$K$ 类，不失一般性，我们可以假设每个聚好的类都有一个中心 μk${\mu }_k$，如果聚类完成的话，那么数据集中的每一个点 x$\mathbf{x}$ 会有一个中心 μk${\mu }_k$ 离这个点的距离最近。可以构造一个变量 rnk={0,1}$r_{nk}=\{0,1\}$ 表示变量 x$\mathbf{x}$ 离第 k$k$ 类最近 rnk=1$r_{nk}=1$，离其他的类更远 rnj=0,j≠k$r_{nj}=0,j\ne k$，那么我们可以定义如下的目标函数：

J=∑n=1N∑k=1Krnk||xn−μk||2$$J=\sum _{n=1}^N\sum _{k=1}^K{r}_{nk}||{\mathbf{x}}_n-{\mu }_k|{|}^2$$

这个目标函数就是要求 rnk,μk$r_{nk},{\mu }_k$，使得目标函数 J$J$ 的值最小。

为了解决上面这个问题，因为要同时求 rnk,μk$r_{nk},{\mu }_k$ 两个变量，所以我们会采取分步迭代的方法，当我们求 rnk$r_{nk}$ 可以让 μk${\mu }_k$ 固定不动，当我们求 μk${\mu }_k$ 的时候，可以让 rnk$r_{nk}$ 固定不动。

很显然，当我们求 rnk$r_{nk}$，只有比较每一个 xn${\mathbf{x}}_n$ 与 μk${\mu }_k$ 的距离，选择距离最近的一个类即可:

rnk=1if=argminj||xn−μj||2$$r_{nk}=1\text{if}=\arg mi{n}_j||{\mathbf{x}}_n-{\mu }_j|{|}^2$$

而求 μk${\mu }_k$ 的时候，我们可以 让 rnk$r_{nk}$ 固定不动， 对目标函数 J$J$ 求导，

2∑n=1Nrnk(xn−μk)=0$$2\sum _{n=1}^N{r}_{nk}({\mathbf{x}}_n-{\mu }_k)=0$$

从而我们可以求得 μk${\mu }_k$ :

μk=∑nrnkxn∑nrnk$${\mu }_k=\frac{\sum _n{r}_{nk}{\mathbf{x}}_n}{\sum _n{r}_{nk}}$$

通过这样的反复迭代，直到所有的 rnk,μk$r_{nk},{\mu }_k$ 都不再变化。