奇异值和特征值

定义

特征值：一矩阵A作用与一向量a，结果只相当与该向量乘以一常数λ。即A*a=λa，则a为该矩阵A的特征向量，λ为该矩阵A的特征值。

奇异值：设A为m*n阶矩阵，A^HA的n个特征值的非负平方根叫作A的奇异值。记为σ_i(A)

关系

对于对称矩阵和 Hermite 矩阵而言， 一个非负的特征值也是一个奇异值，相应的特征向量是相应的左右奇异向量。 

几何意义

奇异值：对任意m×n阶距阵A做分解之后得到两个正交距阵U，V和一个广义对角阵（其中的对角元素就是奇异值），有了这样一个简单的描述后，对任意向量x，对应的变换Ax就可以用A分解后的三个距阵来计算了。这样的话，对于v阵的任一个元素Vi，经过变换AVi就可以得到唯一的一个Uiσi，这样就有了大家都知道的几何意义：当A是方阵时，其奇异值的几何意义是：若X是n维单位球面上的一点，则Ax是一个n维椭球面上的点，其中椭球的n个半轴长正好是A的n个奇异值。简单地说，在二维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴