特征值分解
设 $A_{n imes n}$ 有 $n$ 个线性无关的特征向量 $oldsymbol{x}_{1}, ldots, oldsymbol{x}_{n}$，对应特征值分别为 $lambda_{1}, ldots, lambda_{n} $
$Aleft[egin{array}{lll}oldsymbol{x}_{1} & cdots & oldsymbol{x}_{n}end{array} ight]=left[egin{array}{lll}lambda_{1} oldsymbol{x}_{1} & cdots & lambda_{n} oldsymbol{x}_{n}end{array} ight]=left[egin{array}{lll}oldsymbol{x}_{1} & cdots & oldsymbol{x}_{n}end{array} ight]left[egin{array}{ccc}lambda_{1} & & \& ddots & \& & lambda_{n}\end{array} ight]left[egin{array}{lll}oldsymbol{x}_{1} & cdots & oldsymbol{x}_{n}end{array} ight]^{-1}$
因此有 EVD 分解
$ A X=X Lambda quad quad quad A=X Lambda X^{-1}$
其中 $X$ 为 $oldsymbol{x}_{1}, ldots, oldsymbol{x}_{n}left(
ight. 列向量)$ 构成的矩阵， $Lambda=operatorname{diag}left(lambda_{1}, ldots, lambda_{n}
ight) $。
即使固定 $ Lambda$， $X$ 也不唯一。
特征值分解的例子
这里我们用一个简单的方阵来说明特征值分解的步骤。我们的方阵A定义为：
$A=left(egin{array}{ccc}-1 & 1 & 0 \-4 & 3 & 0 \1 & 0 & 2end{array} ight)$
首先，由方阵A的特征方程，求出特征值。
$|A-lambda E|=left|egin{array}{ccc}-1-lambda & 1 & 0 \-4 & 3-lambda 0 & \1 & 0 & 2-lambdaend{array} ight|=(2-lambda)left|egin{array}{cc}-1-lambda & 1 \-4 & 3-lambdaend{array} ight|=(2-lambda)(lambda-1)^{2}=0$
特征值为 $lambda=2,1$ （重数是2）。
然后，把每个特征值入带入线性方程组 $ (A-lambda E) x=0$ , 求出特征向量。
当 $ lambda=2$ 时，解线性方程组$(A-2 E) x=0 $ 。
$(A-2 E)=left(egin{array}{ccc}-3 & 1 & 0 \-4 & 1 & 0 \1 & 0 & 0end{array} ight) ightarrowleft(egin{array}{lll}1 & 0 & 0 \0 & 1 & 0 \0 & 0 & 0end{array} ight)$
解得 $x_{1}=0, quad x_{2}=0$ 。特征向量为：$p_{1}=left(egin{array}{l}0 \0 \1end{array} ight)$
当 $ lambda=1$ 时，解线性方程组$ (A-E) x=0$
$egin{array}{l}(A-2 E)=left(egin{array}{ccc}-2 & 1 & 0 \-4 & 2 & 0 \1 & 0 & 1end{array} ight) ightarrowleft(egin{array}{lll}1 & 0 & 1 \0 & 1 & 2 \0 & 0 & 0end{array} ight)end{array}$
$x_{1}+x_{3}=0, quad x_{2}+2 x_{3}=0$ 。特征向量为：$p_{2}=left(egin{array}{c}-1 \-2 \1end{array} ight)$
最后，方阵A的特征值分解为：
$A=X Lambda X^{-1}=left(egin{array}{ccc}0 & -1 & -1 \0 & -2 & -2 \1 & 1 & 1end{array} ight)left(egin{array}{ccc}2 & 0 & 0 \0 & 1 & 0 \0 & 0 & 1end{array} ight)left(egin{array}{ccc}0 & -1 & -1 \0 & -2 & -2 \1 & 1 & 1end{array} ight)^{-1}$
进一步得, 当 $A$ 为实对称矩阵的时候, 即 $A=A^{T}$ , 那么它可以被分解成如下的形式
$A=P Lambda P^{T}$
其中, $P$ 为单位正交矩阵。