线性代数
范数
范数是一个表示向量长度大小的量函数，对于一个N维向量a，一个常见的范数函数为\(l_{p}\)范数
\[l_{p}(\mathbf{a})=\lvert \lvert \mathbf{a} \rvert \rvert_{p}= (\sum_{n=1}^{N}\lvert \mathbf{a_{n}} \rvert^p)^{1/p}
\]
-
\(l_1\)范数：向量各个元素的绝对值之和
\[\lvert \lvert \mathbf{a}\rvert \vert_{1}=\sum_{n=1}^N \lvert a_{n} \rvert \] -
\(l_{2}\)范数：向量的各个元素的平方和再开平方
\[\vert \lvert \mathbf{a} \rvert \rvert_{2}= \sqrt{\sum_{n=1}^N a_{n}^2}=\sqrt{\mathbf{a}^T\mathbf{a}} \] -
\(l_{\infty}\)范数：向量的各个元素的最大绝对值。
\[\lvert \lvert \mathbf{a} \rvert \rvert_{\infty}=max(a_{1},\cdots, v_{n}) \]
矩阵
-
Hadamard积：矩阵A和矩阵B的Hadamard积也称为逐点乘积，为矩阵A和矩阵B中的对应元素的乘积
\[[A \odot B]_{ij}=a_{ij}*b_{ij} \] -
Kronecker积：如果矩阵A是一个\(M*N\)的矩阵，矩阵B是一个\(P*Q\)的矩阵，那么它们的Kronecker积为是一个\(MP*NQ\)的矩阵。
\[[\mathbf{A} \otimes \mathbf{B}]= \left[ \begin{matrix} a_{11} \mathbf{B}& a_{12} \mathbf{B} & \cdots & a_{1n}\mathbf{B} \\ a_{21} \mathbf{B}&a_{22} \mathbf{B} & \cdots & a_{2n}\mathbf{B}\\ \vdots&\vdots&\vdots \\ a_{m1}\mathbf{B} & a_{M2}\mathbf{B}& \cdots&a_{mn}\mathbf{B} \end{matrix} \right ] \] -
向量化：矩阵的向量化是将一个矩阵表示为一个列向量，令\(A=[a_{ij}]_{MN}\)那么向量化\(vec()\)
\[vec(\mathbf{A})=[a_{11},a_{21},\cdots,a_{M1},a_{12},a_{22},\cdots,a_{M2},\cdots,a_{1N},a_{2N},\cdots,a_{MN}]^T \] -
迹：方块矩阵A的对角线元素之和为它的迹，记为\(tr\{A\}\)。
-
秩：一个矩阵A的列秩是A的线性无关的列向量数量，行秩是矩阵A的线性无关的行向量的个数。一个矩阵的列秩和行秩总是相等的。
微积分
矩阵微积分
分子布局和分母布局：区别是一个标量关于一个向量的导数是写成列向量还是行向量。下面的矩阵微积分默认为分母布局。即表示成列向量。
向量函数及其导数：
\[\frac{\partial \mathbf{x}}{\partial \mathbf{x}}=\mathbf{I}\\\frac{\partial \mathbf{Ax}}{\partial \mathbf{x}}=\mathbf{A}^T\\\frac{\partial \mathbf{x}^T \mathbf{A}}{\partial \mathbf{x}}=\mathbf{A}\\
\]