PCA要做什么？
我们想将数据从二维降到一维，那么怎么找到这条好的直线对数据进行投影呢？
上图中红色的那条直线是个不错的选择，因为点到投影到这条直线上的点之间的距离(蓝色的线)非常小;反之那条粉红色的线，数据投影到这条线上的距离非常大，所以PCA会选择红色的那条线而不是粉色的那条线。
PCA要做的就是寻找一个低维的面(本例中为直线)，数据投影到上面，使得这些蓝色小线段的平方和达到最小值
这些蓝色线段的长度称为投影误差(projection error)
在应用PCA之前，通常进行features scaling(按比例缩放) 和mean normalization(均值归一化)，使features的均值为0,使它们的数值在可比较的范围之内
正式的表达PCA要做什么？
对于从2维降到1维，就是要寻找一个向量(向量是2维的)，将数据投影到这个向量决定的直线上，使得投影误差最小.至于向量是正的还是负的都可以，因为它们决定的是同一条直线
对于从n维到k维，就是寻找k个向量(向量属于Rn)，使得将数据投影到这k个向量决定的子空间上，使得投影误差最小
PCA与linear regression之间的区别
PCA虽然与linear regression看出去很像，但是它们有很大的差别
左图是linear regression,它是要拟合一条直线，使得图中蓝色线段的距离和最小（这个距离是和x轴垂直的）,即实际的值与预测的值之间的距离
右图是PCA,它是要使点到红色直线的距离和（这个距离是与红色直线垂直的而不是x轴）最小，即实际的点到要降维的直线上的点的距离(走到那儿经过的距离，即将二维的点降维到一维的直线上去)
还有一点不同是，linear regression通过x值来预测y值，而PCA中只有x1,x2,......xn，没有y值
例如（右图）：将三维空间的点约简到二维，即找到二个方向（u(1)和u(2)），将数据投影到上面，即原来我有三个features:x1,x2,x3(这些都是被同等对待，没有特殊的变量y需要预测)，因此PCA与linear regression有很大的不同
总结
PCA是寻找一个低维的平面，对数据进行投影，以便最小化投影误差的平方