特征值分解与特征向量
- 特征值分解可以得到特征值与特征向量；
- 特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。
如果向量 (vec{v}) 是方阵 (A) 的特征向量，那么有：
[A
u = lambda
u
]
(lambda)为特征向量(vec{v})对应的特征值。特征值分解是将一个矩阵分解为如下形式：
[A=Qsum Q^{-1}
]
其中，(Q) 是这个矩阵 (A) 的特征向量组成的矩阵，(sum) 是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵 (A) 的信息可以由其特征值和特征向量表示。
奇异值与特征值的关系
将矩阵 (A) 的转置乘以 (A) ，并对 (AA^T) 求特征值，有如下形式：
[(A^TA)V = lambda V
]
这里(V)就是上面的右奇异向量，另外还有：
[sigma_i = sqrt{lambda_i}, u_i=frac{1}{sigma_i}Amu_i
]
这里的 (sigma) 就是奇异值，(u) 就是上面说的左奇异向量。奇异值 (sigma) 跟特征值类似，在矩阵 (sum) 中也是从大到小排列。
(sigma) 的减少特别的快，在很多情况下，前 (10\%) 甚至 (1\%) 的奇异值的和就占了全部的奇异值之和的 (99\%) 以上了。也就是说，我们也可以用前 (r)（ (r) 远小于 (m、n) ）个的奇异值来近似描述矩阵，即部分奇异值分解：
[A_{m imes n}approx U_{m imes r}sum_{r imes r}V_{r imes n}^T
]
右边的三个矩阵相乘的结果将会是一个接近于 (A) 的矩阵，在这儿，(r) 越接近于 (n) ，则相乘的结果越接近于 (A) 。