简单推导 PCA

考虑二维数据降低到一维的例子，如下图所示：

最小化投影方差（maximize projected variance）：

1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1

则根据拉格朗日乘子法，有：

uuT1Suu1+λ(1−uuT1uu1)

对 uu1 求导数，得：

Suu1=λuu1

可见投影的最佳方向就是，样本协方差矩阵的特征向量方向；