机器学习（6）- 无监督学习

根据Andrew Ng在斯坦福的《机器学习》视频做笔记，已经通过李航《统计学习方法》获得的知识不赘述，仅列出提纲。

1 聚类算法

1.1 K-Means算法

步骤

随机初始化k个簇类中心（cluster centroids）[n维向量]，然后迭代

1. 簇分配：遍历样本，判断其距离哪个簇类中心更近，然后分配
2. 移动簇类中心：计算每个簇的样本均值，然后更新簇类中心的位置（如果簇内没有样本，则移除该簇；如果确实需要，则随机初始化）

直至簇类中心不再改变

可以用于分类不佳的簇

优化目标

(c^{(i)})：样本(x^{(i)})所属的簇类index

(mu_k)：簇类中心k

(mu_{c^{(i)}})：样本(x^{(i)})所属的簇类中心

[J(c^{(i)},cdots,c^{(m)},mu_1,cdots,mu_K)=frac{1}{m}sum_{i=1}^m||x^{(i)}-mu_{c^{(i)}}||^2 ]

随机初始化：随机选择K个训练样本

↓

局部最优：多次运行K-means算法（对于K值较小的聚类效果较好）

K值的选择

• “肘部法则”：绘制J-K曲线（实际并不好用）
• 根据后续目的选择

1.2 降维

1.2.1 目标Ⅰ：数据压缩

问题：数据冗余/特征高度相关

1.2.2 目标Ⅱ：可视化数据

问题：高维度数据无法绘制

1.2.3 主成分分析PCA（Principal Component Analysis）

试图找到一个低维的平面来最小化投射误差

2D→1D：找到一个向量能够最小化投射误差

nD→kD：找到k个向量能够最小化投射误差

PCA vs. 线性回归

PCA：最小化投射误差，不预测

线性回归：x→y，最小化预测误差，预测结果

数据预处理

特征缩放/均值归一化

计算协方差矩阵

(Sigma=frac{1}{m}sum_{i=1}^n(x^{(i)})(x^{(i)})^T=frac{1}{m}X^TX)

计算协方差矩阵(Sigma)的特征向量

([U,S,V]=svd(Sigma))

U：n×n矩阵，即([u^{(1)} u^{(2)} u^{(3)} cdots u^{(m)}])，取前k列，得到n×k的矩阵

(z^{(i)}=U_{reduce}^Tx^{(i)}=[u^{(1)} u^{(2)} cdots u^{(k)}]^Tx^{(i)})，是k维向量

选择主成分的数量

比例：(frac{frac{1}{m}sum_{i=1}^m||x^{(i)}-x_{approx}^{(i)}||^2}{frac{1}{m}sum_{i=1}^m||x^{(i)}||^2})

分子表示原始点与投影点之间的距离之和。

误差越小，说明降维后的数据越能完整表示降维前的数据。

如果比例小于0.01，说明降维后的数据能保留99%的信息。

实际应用中，选择能使误差小于0.01（99%的信息都被保留）或0.05（95%的信息都被保留）的k值。

对于可视化数据，通常选择k=2或k=3

压缩重现

(x_{approx}^{(i)}=U_{reduce}z^{(i)})

应用建议

加速学习算法：提取输入(x^{(i)})→PCA→低维表示(z^{(i)})→新训练集

防止过拟合：Bad！

设计机器学习系统：只有在不用PCA但是不行的时候，才考虑。