一. 意义
- 从线性空间的角度看，在一个定义了内积的线性空间里，对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。 特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多
- 应用到最优化中，意思就是对于R的二次型，自变量在这个方向上变化的时候，对函数值的影响最大，也就是该方向上的方向导数最大。
- 应用到数据挖掘中，最大特征值对应的特征向量上包含最多的信息量。如果某几个特征值很小，说明这个方向上的信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减少，但有用信息量变化不大。
二. 应用
1. 二次型优化问题：
二次型：， 其中就R是一直的二阶矩阵，R=[1, 0.5; 0.5, 1]， x是二维向量，x = [x1; x2]
1）对R进行特征分解，得到特征值：0.5， 1.5， 对应的特征向量[[-0.7071；0.7071], [0.7071；0.7071]
2) 画出y的等高线图：
从图中可以看出，最陡峭的方向（函数值变化最快的方向）归一化以后是[0.7071；0.7071]，其对应 的特征值1.5是特征值中最大的。因为在这里这有两个特征值，所以特征值为0.5的对应的特征向量是曲面最平滑的方向。
这一点在分析算法收敛性能的时候需要用到。
应用2 数据降维
https://www.zhihu.com/question/21874816
三. 线性空间中数学定义
1. 特征值和特征向量的数学定义
定义1 设
是一个
阶方阵，
是一个数，如果方程
（1）
存在非零解向量，则称为的一个特征值，相应的非零解向量
称为属于特征值的特征向量。
（1）式也可写成，
（2）
这是个未知数个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式
(3)
即
上式是以为未知数的一元次方程，称为方阵的特征方程． 其左端
是的次多项式，记作
，称为方阵的特征多项式。
== 
=
显然，的特征值就是特征方程的解．特征方程在复数范围内恒有解，其个数为方程的次数（重根按重数计算），因此，阶矩阵有个特征值．
设阶矩阵
的特征值为
由多项式的根与系数之间的关系，不难证明
（ⅰ）
（ⅱ））
若为 的一个特征值，则一定是方程的根, 因此又称特征根，若为方程的
重根，则称为的重特征根．方程 
的每一个非零解向量都是相应于的特征向量，于是我们可以得到求矩阵的全部特征值和特征向量的方法如下：
第一步：计算的特征多项式
；
第二步：求出特征方程的全部根，即为的全部特征值
第三步：对于的每一个特征值，求出齐次线性方程组：
的一个基础解系
，则的属于特征值的全部特征向量是
（其中
是不全为零的任意实数）．
例如：
求矩阵
的特征值和特征向量
解：的特征多项式：
==
=
所以的特征值为
=
=2（二重根），
.
对于==2，解齐次线性方程组
．由
，
得基础解系为：
因此，属于==2的全部特征向量为：
不同时为零
.
对于
，解齐次线性方程组
．由
，
得基础解系为：
因此，属于的全部特征向量为：
2. 特征向量之间的关系
定理1 属于不同特征值的特征向量一定线性无关.
证明 设
是矩阵的不同特征值，而
分别是属于的特征向量，要证是线性无关的.我们对特征值的个数
作数学归纳法证明.
当
时,由于特征向量不为零,所以结论显然成立.
当＞1时,假设时结论成立.
由于是的不同特征值,而
是属于
的特征向量,因此
如果存在一组实数
使
则上式两边乘以
得
另一方面, 
,即
两式相减：
由归纳假设, 
线性无关,因此
而互不相同,所以
．于是(3)式变为
因
,于是
．可见线性无关．
3. 相似矩阵
定义2 设、
都是阶方阵，若存在满秩矩阵
， 使得
则称与相似，记作 
，且满秩矩阵称为将变为的相似变换矩阵．
“相似”是矩阵间的一种关系，这种关系具有如下性质：
⑴ 反身性：～ ；
⑵ 对称性：若 ～ ，则～ ；
⑶ 传递性：若～， ～
，则～．
相似矩阵还具有下列性质：
定理2 相似矩阵有相同的特征多项式，因而有相同的特征值.
证明 设～， 则存在满秩矩阵，使
于是：
推论 若阶矩阵与对角矩阵
相似，则
即是的个特征值．
定理3 设
是矩阵的属于特征值
的特征向量,且~,即存在满秩矩阵使,则
是矩阵的属于的特征向量．
定理4 阶矩阵与对角矩阵
相似的充分必要条件是：矩阵有个线性无关的分别属于特征值的特征向量（中可以有相同的值）．
例2 设矩阵
，求一个满秩矩阵，使
为对角矩阵．
1. 求特征值
所以的特征值为
.
2. 根据特征值求特征项向量：
对于 解齐次线性方程组
，得基础解系
，即为的两个特征向量
对于
=2，解齐次线性方程组，得基础解系
，即为的一个特征向量
.
3. 判断是否能相似于对角矩阵
显然
是线性无关的，且个数为3，所以能相似于对角矩阵，取：
即有：
4. 向量组的正交性
在解析几何中，二维、三维向量的长度以及夹角等度量性质都可以用向量的内积来表示，现在我们把内积推广到维向量中．
定义3 设有维向量
，
，令
=
，则称为向量
和
的内积．
定义4 令
||=
称||为维向量的模（或长度）．
定义5 当|| ≠0，||≠0时，
称为维向量、的夹角．
特别地：当=0时，
，因此有当=0时，称向量与正交．（显然，若=0，则与任何向量都正交）．
定义6 已知个非零向量
，若
=0 
，则称为正交向量组．
定义7 若向量组为正交向量组，且|
|=1
，则称 为标准正交向量组．
例如，维单位向量组
=
，
，
是正交向量组．
正交向量组有下述重要性质：
定理5 正交向量组是线性无关的向量组
定理6 设向量组线性无关，由此可作出含有个向量的正交向量组
，其中：
， 
，…… 
再取：
则
为标准正交向量组．
上述从线性无关向量组导出正交向量组的过程称为施密特（Schimidt）正交化过程．它不仅满足与等价，还满足：对任何
，向量组
与
等价
例4 设
求一个正交矩阵，使
为对角矩阵.
解：1. 求特征值：
所以的特征值
，
.
2. 求特征向量及标准正交矩阵：
对于，解齐次线性方程组，得基础解系：
因此属于的标准特征向量为：
对于，解齐次线性方程组，得基础解系：
这两个向量恰好正交，将其单位化即得两个属于
的标准正交向量：
， 
于是得正交矩阵：
易验证：
.
详情见：http://course.tjau.edu.cn/xianxingdaishu/jiao/5.htm