PCA（principle component analysis）主成分分析
理论依据
- 最大方差理论
- 最小平方误差理论
一、最大方差理论（白面机器学习）
对一个矩阵进行降维，我们希望降维之后的每一维数据能够有大的方差。
为什么呢？
因为每一维的方差越大，说明数据之间区分度高，想象一个极端的情况，降维之后的数据集所有维度 都是一样的值，方差为0，那么数据就没什么意义了，因为退化成了一条数据。
二维图生动形象
- 推导过程
对于n个样本，m维特征 (v1, v2, v3 ... vn), vi是m维列向量，进行中心化处理后的样本(x1, x2, x3 ... xn) = (v1 - u, v2 - u, v3 - u, vn - u)，其中u = 1/n ∑1,nvi
向量内积表示向量在另一个向量上的投影长度，向量 xi 在 w (单位向量)方向上的投影长度（也是投影坐标，因为方向确定）为 (xi, w) = XiTw，目的就是找到一个投影方向w使得x1, x2, x3 ... xn在w上方差最大, 其中 x1, x2, x3 ... xn 的均值为0，0 = 1/n ∑1,nxi,
投影之后样本均值 u' = 1/n ∑1,nxiTw = 1/n (∑1,nxiT)w = 0
投影之后样本方差： D(X) = 1/n * ∑1,n(xiTw)2 = 1/n * ∑1,n(xiTw)T(xiTw) = 1 / n * ∑1,n wTxi xiTw = wT (1 / n * ∑1,n xi xiT)w, 其中1 / n * ∑1,n xi xiT是中心化处理后的协方差矩阵(协方差矩阵知识）记作∑，所以现在目标就是求D(X) = wT∑w 在 wTw = 1下的极大值， 构造拉格朗日函数令其导数为 0 （关于向量求导）
得：∑w = λw, 带入D(X) = λwTw = λ, 所以投影方向w为协方差矩阵特征向量时，D(x) 有极大值 λ
2.PCA降维过程
【中心化处理】
-
- 对样本进行中心化处理
- 求样本协方差矩阵
- 对协方差矩阵进行特征值分解，将特征值从大到小排列。
- 选取前d大的特征值所对应的特征向量， w1,w2...wd, 将样本n维映射到d维
- xi' = [w1Txi, w2Txi ... wdTxi]T
【不需要中心化处理】
- 对每一维特征求其 均值 Uj,
- cov(Xj1, Xj2) = (Xj1 - Uj1)T (Xj2 - Uj2), 其中Xj1 表示第一列，是第一维特征的所有样本，(n X 1), n个样本，m维特征。
- 组成一个 m * m 的协方差矩阵，进行求特征值与特征向量，根据特征值排序
- 选取前d大的特征值所对应的特征向量， w1,w2...wd, 将样本m维映射到d维
- X [w1, w2 ... wn] 即为降维到m后结果， X = (n, m) , w1 = (m, 1)
PCA的另一种解法：http://www.fuzihao.org/blog/2015/12/04/%E7%90%86%E8%A7%A3PCA%E5%92%8CSVD/
目的：
PCA的目的就是将一个高维矩阵A，通过一种转化，将其变成低维矩阵B，即 AM = B，核心就是求这个M，其中B应该是一个正交阵，每一列都是正交向量
求解推理：
因为B是正交矩阵，所以BTB = D, D是对角阵，又 B = AM， 所以 （AM)T(AM) = D => ATA = MDM-1, 又ATA是一个对称矩阵，所以可以向量分解，ATA = VΣVT，其中V是AAT的特征向量矩阵，Σ是特征值组成的对角阵，而V是正交阵，故VT = V-1， 所以 M = V， D = Σ
求解流程：
1、对A矩阵每一列进行标准化，（标准化的原因：每一维表示的单位不同，需要去量纲）
2、ATA矩阵求特征值和特征向量
3、根据需要降到的维度k，选择前k大的特征值与其特征向量
4、最后结果A' = V'Σ'VT'
SVD：
目标：
SVD是想通过 A = UΣVT，其中U V是正交阵，Σ是对角阵，进行降维。
推理：
ATA = （UΣVT)T(UΣVT) = VΣUTUΣVT = VΣ2VT, 所以 右奇异向量（V）是ATA的特征向量
AAT = UΣVTVTΣUT = UΣ2UT ，所以左奇异向量（U）是AAT的特征向量
而Σ2是AAT或ATA的特征值组成的对角阵
PCA和SVD区别：https://www.cnblogs.com/bjwu/p/9280492.html
方法上：
PCA需要计算协方差矩阵 ATA，当样本数和特征数很多的时候，这个计算量是相当大的。
SVD也可以得到协方差矩阵 ATA，ATA 最大的k个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法（什么算法？）可以不求协方差矩阵XTX，也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。
奇异值分解迭代计算比协方差矩阵的特征值分解更快更准确。
PCA仅用到了SVD的右奇异矩阵V，没有用左奇异矩阵，左奇异矩阵有什么用呢？
假设我们的样本是m✖️n的矩阵X，如果我们通过SVD找到了矩阵 XTXXTX 的最大的k个特征向量组成的m✖️d维矩阵U，则我们进行如下处理：
X′d×n=UTd×mXm×n
可以得到一个d✖️n的矩阵X'，且这个矩阵和我们原来的m✖️n维的样本矩阵X相比，行数从m剪到了k，可见对行数进行了压缩。
也就是说，左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。
换句话说，SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分。这一点在NLP的文本处理上得到了很大体现。
应用上：
两者在输出上都是一样的，唯一的区别在输入，SVD可以输入稀疏矩阵（sparse matrix）。在原理上，也可以说SVD更适于输入稀疏矩阵。
因为PCA需要进行去均值化处理，所以不可避免的破坏了矩阵的稀疏性。所以，对于稀疏矩阵来说，SVD更适用，这样对于大数据来说节省了很大空间。
参考：
https://blog.csdn.net/HLBoy_happy/article/details/77146012
https://www.zhihu.com/question/20852004