无监督学习(Unsupervised Learning)

无监督学习(Unsupervised Learning)

聚类无监督学习

特点

• 只给出了样本, 但是没有提供标签
• 通过无监督学习算法给出的样本分成几个族(cluster), 分出来的类别不是我们自己规定的, 而是无监督学习算法自己计算出来的

K-means 聚类算法

规定

• (c^{(i)}): 表示(x^{(i)})属于哪个cluster, 如(x^{(1)})属于(c^{(1)})簇, 如果(c^{(1)}=1), 则(x^{(1)})划分在第1个类别
• (mu_k): 表示第k簇的聚类中心样本点
• (mu_{c^{(i)}}): 表示样本(x^{(i)})所在的聚类(c^{(i)})的聚类中心
• (m): 样本的数量
• (n): 特征的数量

步骤

1. 从现有的样本中调出K个样本作为聚类中心(采用随机初始化的方式选择样本)
2. 计算其余样本分别到这K个样本的欧拉距离
3. 某个样本距离这K个聚类中心的哪个最近, 就把这个样本归为那个类别, 以此类推, 将所有的样本进行归类
4. 在已经分好类的基础上, 计算出每一个类别的均值(中心), 再重复2和3步骤, 知道损失函数达到最优点(可能仅仅是达到了局部最优点(local optima), K-means算法最终聚类的结果与第1步中K的随机初始化的值后很大的关系, 因为在结束了K-means算法之后我们应该重复1-4步多次, 得到损失函数最小), 结束K-means算法
5. 注意: K值的选择需要人工调整

理性的认识

• 在K-means中主要就是要(min_{c^{(i)},mu^{(j)}}J(c^{(1)},c^{(2)},...,c^{(m)},mu^{(1)},mu^{(2)},...,mu^{(k)}))

1. 随机初始化K, K要小于m
2. 在for循环中一个一个的取出样本计算出所有样本到最近的中心的距离, 保证J最小
3. 在另外一个for循环中取出中心点, 移动中心点
4. 重复1-3步骤

如何选择K的值

• elbow method: 画出K与J的图像, 找出凸出点, 那个就是期望的K值
• 根据实际需求划分