理清概念，在机器学习的公式推导中常常用到。比如SVD, LDA
- 酉变换，正交变换
- 正规矩阵
- 酉矩阵
- 正交矩阵
- 对角化
- 对角阵
- 正定阵
正交变换
正规矩阵
- $A^* A = A A^*$ A 乘以自己的共轭转置（$A^*$) 等于 （$A^*$) 乘以自己，A是方块阵。
- 如果A是实系数矩阵，则$A^*= A^T $，从而条件简化为 $A^T A=A A^T$
- 任意正规矩阵 都可以经过 正交变换 变成 对角矩阵，反过来，可以经过一个 正交变换 成为对角矩阵的矩阵 都是正规矩阵
- 矩阵的正规性是检验矩阵是否可对角化的一个简便方法
- 在复系数矩阵中，所有 酉矩阵 都是 正规的；在实系数 矩阵中，正交矩阵 都是正规矩阵
- 例子：
-
.
-
酉矩阵
- 特殊的正规矩阵 $U^* U = U U^* = I_n$
- $U, U^* $都是酉矩阵
- 酉矩阵的特征值都是模为1的复数，即分布在复平面的单位圆上，因此酉矩阵行列式的值也为1
- 酉矩阵 与对角阵关系 $U = V Sigma V^* $ V 是酉矩阵，$Sigma$ 是主对角线上元素绝对值为1的对角阵
- 例子
正交矩阵 orthogonal matrix
- 方块矩阵，元素是实数，行与列都是正交的单位向量，他的转置矩阵是其 逆矩阵
- $Q^-1 = Q^T <=> Q^-1 Q^T = I $
- 行列式 必为 +1 或 -1
- 正交矩阵是实数特殊化的酉矩阵，因此总是正规矩阵。
- 例子
针对x轴反射。
旋转反演（rotoinversion）:轴 (0,-3/5,4/5)，角度90°。
对角阵
三角阵
用途
- 三角矩阵可以看做是一般方阵的一种简化情形。比如，由于带三角矩阵的矩阵方程容易求解，在解多元线性方程组时，总是将其系数矩阵通过初等变换化为三角矩阵来求解；
- 又如三角矩阵的行列式就是其对角线上元素的乘积，很容易计算。有鉴于此，在数值分析等分支中三角矩阵十分重要。一个可逆矩阵A可以通过LU分解变成一个下三角矩阵L与一个上三角矩阵U的乘积。LU =>Low, Upper. LDU => L, Diagonal, U
对角化
- 如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P −1AP 是对角矩阵，则它就被称为可对角化的。
- 可对角化矩阵和映射在线性代数中有重要价值，因为对角矩阵特别容易处理: 它们的特征值和特征向量是已知的，且其次方可通过计算对角元素同样的次方来获得。
- 在域 F 上的 n × n 矩阵 A 是可对角化的，当且仅当它的特征空间的维度等于 n，
- 它为真当且仅当存在由 A 的特征向量组成的 Fn 的基。
- 如果找到了这样的基，可以形成有基向量作为纵列的矩阵 P，而 P -1AP 将是对角矩阵。
- 这个矩阵的对角元素是 A 的特征值。
- wiki中有对角化方法
