一、为什么要降维：
1、避免维数灾难，高维情况下容易产生过拟合
2、特征之间如果存在明显的相关性（也叫共线性），此时就需要降维
3、降维可以提取数据中的有效信息，去除噪音数据
4、降维可以降低数据的复杂性，减少模型的训练时间
5、可以方便对数据进行可视化处理，因为维数很高的话，无法可视化
二、PCA降维思想
寻找某个轴线，使得样本映射到该轴线后，能够有最大的可区分度，衡量可区分度的指标就是求方差，现在的问题是如何求得这个轴线，使方差最大。
用方差来定义样本间的间距，方差越大表示数据越稀松，方差越小则表示数据分布越密集，下图即方差公式。
在求解最大方差前，为方便计算，可先对数据进行去均值处理。
去均值后，求最大方差公式可以减少计算的复杂度。
求满足最大方差的轴线可用梯度上升法求解。
PCA和LDA都是降维算法，他们的主要区别是：
PCA为无监督方法，主要是主成分分析方法，Principal Component Analysis， 简称PCA。
PCA可以降到任意维度。
LDA是有监督方法，主要是线性判别分析法，Linear Discriminant Analysis ，简称LDA。
LDA最多只能降到数据类别 -1