人工智能必备数学基础：线性代数基础（1）

 

如果需要小编其他数学基础博客，请移步小编的GitHub地址

　　传送门：请点击我

　　如果点击有误：https://github.com/LeBron-Jian/DeepLearningNote

 　　这里我打算再补充一下关于线性代数的基础。

　　（注意：目前自己补充到的所有知识点，均按照自己网课视频中老师课程知识点走的，同时一些公式是网友辛辛苦苦敲的，这里用到那个博客均在文末补充地址，不过这里首先表示感谢！！）

1，行列式

1.1  行列式的定义

　　行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作 det(A) 或 |A|。无论是在线性代数，多项式理论，还是微积分学中（比如换元积分法），行列式作为基本的数学工具，都有着重要的应用。

　　下面先看看二次线性方程组的求解：

　　当  a₁₁a₂₂  - a₁₂a₂₁ ≠ 0 方程组有唯一解：

　　我们看行列式，发现其好像有点规律：

　　表达式 a₁₁a₂₂  - a₁₂a₂₁ 即为二阶行列式。

　　其中 a_ij (i=1,2；j=1,2) 称为元素。 i 代表行标， j 代表列标。

　　三阶行列式如下：

　　所以可以得到行列式的定义为：n阶行列式是由 n 阶方阵形式的 n² 个数 a_ij（i,j=1,2,...n）确定的一个数，其值为 n!项之和。若n阶方阵A=(aij)，则A相应的行列式D记为：D=|A|=detA=det(aij)；若矩阵A相应的行列式D=0，称A为奇异矩阵，否则称为非奇异矩阵。

　　下面尝试计算一个三阶行列式，根据如上算法，计算过程如下：

1.2  行列式的性质

• 1，行列式A中某行（或者列）用同一数 k 乘，其结果等于 kA
• 2，行列式A等于其转置行列式A^T（A^T的第i行为A的第i列）
• 3，若 n 阶行列式 |a_ij| 中某行（或列）；行列式则 |aij| 是两个行列式的和，这两个行列式的第 i 行（或列），一个是 b1, b2,...bn，另一个是 c1, c2,...cn，其余各行（或列）上的元与 |aij| 的完全一样
• 4，行列式A中两行（或列）互换，其结果等于-A
• 5，把行列式A的某行（或列）中各元同乘一数后加到另一行（或列）中对应元上，结果仍然是A

1.3  矩阵与数据之间的关系

　　我们学习矩阵的目的，最终是要应用到机器学习，而不是单纯的学习数学推导，下面看矩阵和数据之间关系。

　　比如A，B，C，D 代表四座城市，他们之间可通行的关系为：

　　如果有表格的形式表示，则表示如下：

2，矩阵

2.1  矩阵的定义

　　在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵，这一概念由19世纪英国数学家凯里首先提出。

　　何谓矩阵就是输入的数据就是矩阵，对数据做任何的操作都是矩阵的操作。

　　定义：矩阵是由行和列组成的，即 m*n 个数 aij 排成 m 行 n 列 的表格称为矩阵，简记为 A，或者（a_ij）_m*n，若 m = n，则称A是 n 阶矩阵或 n 阶方阵，矩阵如下：

　　元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵

矩阵的特殊形式

　　行向量和列向量：

　　n阶矩阵（n阶方阵）：n阶方阵就是行和列一样，即 m=n，我们称A为 n 阶矩阵或 n 阶方阵：

　　三角矩阵（上三角矩阵与下三角矩阵）：在线性代数中，三角矩阵是方形矩阵的一种，因其非零系数的排列呈三角形状而得名。三角矩阵分为上三角和下三角。若i>j，则 uij=0的矩阵称为上三角矩阵；若i<j，则 uij=0的矩阵称为下三角矩阵。

　　对角阵与单位矩阵：（对角矩阵是对于m*m的居住，当i!=j时，有aij=0，此时所有非对角线上的元素均为0，此时的矩阵称为对角矩阵，当对角线的元素为1时，称为单位矩阵。）

　　同型矩阵：两个矩阵行列数相同的时候：

　　在同型的前提下，并且各个元素相等，这就是矩阵相等了：

　　对称矩阵：如果满足 A^T = A ，那么 A就是对称矩阵。

 　　如下行列式，均为对称矩阵：

2.2   矩阵的线性运算

　　矩阵运算在科学计算中非常重要，而矩阵的基本运算包括矩阵的加法，减法，数乘，转置，共轭和共轭转置。

　　下面通过两个 m*n 的矩阵来看一下其基本运算： A = (a_ij)，B = (b_ij)

矩阵的加减法

　　设 A = (a_ij) ，B = (b_ij) 是两个 m*n 矩阵，则 m*n 矩阵 C = (c_ij) = a_ij  + b_ij ，称为矩阵 A 和 B 的和，记为 A + B = C。

　　矩阵的加法满足以下运算律（A，B，C都是同型矩阵）：

　　应该注意的是只有同型矩阵之间才可以进行加法。

矩阵的数乘

　　设 A = (a_ij) 是 m*n 矩阵，k 是一个常数，则 m*n 矩阵 (ka_ij) 称为数 k 与矩阵 A 的数乘，记为  kA ，如下：

　　矩阵的数乘满足以下运算律：

　　矩阵的加减法和矩阵的数乘合成矩阵的线性运算。

 2.3  矩阵的转置

　　矩阵的转置就是行和列互相交换所产生的矩阵，记做A^T，如下：

　　矩阵的转置有如下性质：

2.4 矩阵的逆

　　有关 A-1 的结论：

 　　分块求逆公式：

　　这里 A， B 均为可逆方阵。

2.5  矩阵的秩

　　对于一个 S*N 的矩阵：

　　矩阵 A 的每一行可以看作一个 N 维向量：

　　α₁， α₂， ... α_s 叫做 A 的行向量。

　　矩阵 A的每一列可以看作一个 S 维向量：

　　β₁， β₂， ... β_n 叫做 A的列向量。

　　矩阵的秩表示什么呢？

　　对于下面的A矩阵：

　　行向量为：

　　求其极大线性无关组假设有：

　　则：

　　解得： k1 = k2 = k3 = 0，即 α₁， α₂， α₃  线性无关。

　　由于含有零向量，必线性相关，所以向量组α₁， α₂， α₃ ，α₄ 的秩为 3。

　　对于列向量同理可得：

　　但是 β₁， β₂，  β₃ ，  β₄ 的秩为3。

　　矩阵的行秩 = 矩阵的列秩。

　　那么秩该如何理解呢？

　　可以对二维图像进行旋转，比如用旋转矩阵：

　　变换后的矩阵依然是二维的，所以旋转矩阵的秩为2，如下图：

　　或者对于下面的矩阵：

　　变换后的矩阵为一维的，所以矩阵的秩为1，如下图：

　　矩阵中最大不相关向量的个数就是秩，比如相册里有很多张图片（N），但是只有三个类（R），我们就把 R 当做矩阵的秩。

有关矩阵秩的结论：

2.6  矩阵的乘法

　　设 A = (a_ij) 是 m*n 矩阵，B = (b_ij) 是 n*s 矩阵，那么 m*s 矩阵 C  = (c_ij) ，C_ij 称为 AB 的乘积，记为 C = AB 。（注意两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义）

　　其中：

　　矩阵乘法有如下的运算规则（注意：矩阵乘法不满足交换律）包括左分配律，右分配律，结合律：

　　举个例子：有两个商场，三种电视机，求两个商场的销售额？（注意：A的列数要与B的函数相等）

　　注意：矩阵乘法没有交换律

　　举个简单的例子，当我们交换的时候，会出现下面结果：

2.7   行列式与矩阵的区别

　　行列式与矩阵的区别：

　　具体区别如下：

　　1，运算结果不同

　　矩阵是一个表格，行数和列数可以不一样；而行列式是一个数，且行数必须等于列数。只有方阵才可以定义它的行列式，而对于长方阵不能定义它的行列式。

　　两个矩阵相等是指对应元素都相等；两个行列式相等不要求对应元素都相等，甚至阶数也可以不一样，只要运算代数和的结果一样就可以了。

　　2，运算方式不同

　　两矩阵相加是将各对应元素相加；两行列式相加，是将运算结果相加，在特殊情况下（比如有行或列相同），只能将一行（或列）的元素相加，其余元素照写。

　　3，性质不同

　　数乘矩阵是指该数乘以矩阵的每一个元素；而数乘行列式，只能用此数乘行列式的某一行或列，提公因数也如此。

　　两矩阵相等指两同型矩阵的对应元素相等；两行列式相等指只要其值相等，不要求它们是同阶行列式，也不要求对应元素相等。

　　4，变换后的结果不同

　　矩阵经初等变换，其秩不变；行列式经初等变换，其值可能改变；换法变换要变好，倍法变换差被数，消法变换不改变。

2.8   矩阵方程

　　矩阵方程如何做呢？

　　如下：A是系数矩阵，X是未知数矩阵，B是常数矩阵

　　矩阵方程是未知数为矩阵的方程，对于矩阵方程，当系数矩阵为方阵时，先判断是否可逆。如果可逆，则可以利用左乘或者右乘逆矩阵的方法求出未知矩阵，如果方阵不可逆或系数矩阵不是方阵，则需要用矩阵的广义逆来确定矩阵方程有界的条件，进而在有解的情况下求出通解。

3，向量

3.1  向量的定义

　　在数学中，向量（也称为欧几里得向量，几何向量，矢量），指具有大小（magnitude）和方向的量。它可以形象的表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称为标量），数量（标量）只有大小，没有方向。

　　在物理学和工程学中，几何向量更常被称为矢量。许多物理量都是矢量，比如一个物体的唯一，球撞向墙对其施加的力等等。与之相对的是标量，即只有大小没有方向的量。一些与向量有关的定义亦与物理概念有密切的联系，例如向量势对应于物理中的势能。　

3.2  有关向量的线性表示

3.3  向量组的秩与矩阵的秩之间的关系

　　设 r(A_m*n) = r ，则 A 的秩 r(A) 与 A 的行列向量组的线性相关性关系为：

3.4  n 维向量空间的基变换公式及过渡矩阵

　　若 α₁， α₂， ...α₃ 与 β₁， β₂，...  β_n 是向量空间 V 的两组基，则基变换公式为：

　　其中 C是可逆矩阵，称为由基 α1，α2，....αn到基β1，β2，...βn 的过渡矩阵。

　　坐标变换公式：

3.5  向量的内积（点积）

　　点积在数学中，又称数量积（dot product；scalar product），是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。

　　设有 n 维向量：

　　则当：

　　此时，我们就把 [x. y] 叫做向量的内积。

　　内积的性质如下：

3.6  向量的长度

　　几何空间中向量长度概念的推广，设 x 为欧式空间 V 的向量，非负实数（x,  x）的算法平方根 √ (x, x) 称为向量 x 的长度或长，也称为 x 的模，记为 ||x||。

　　向量的长度具有如下性质：

• 1，对于任意的 x 属于 V，|x| >=0， |x|=0 当且仅当 x=0
• 2，对于任意的 k 属于 R，x属于V，|kx|=|k||x|，其中 |k| 是 k的绝对值。

　　老师的PPT如下：

3.7  向量的正交

　　两两正交的非零向量组成为正交向量组。若 a₁, a₂,....a_r 是两两正交的非零向量，则 a₁, a₂,....a_r  线性无关。

　　例如，已知三维向量空间 R³ 中两个向量a₁, a₂ 正交，试求一个非零向量 a₃，使得a₁, a_{2 ，}a₃ 两两正交：

3.8  正交基及规范正交基

　　向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

　　其性质如下：

4，线性方程组

4.1  克莱姆法则

　　对于线性方程组：

　　如果系数行列式 D =  |A| ≠ 0，则方程有唯一解，

　　其中 Dj 是把 D 中第 j 列元素换成方程组右端的常数类所得的行列式。

　　n阶矩阵 A 可逆 r(Am*n) = m 只有零解  <==>  对于任意b，Ax = b 总有唯一解，一般地，r(Am*n)  <==> Ax=0 只有零解。

4.2  非齐次线性方程组有解的充分必要条件，线性方程组解的性质和解决的结构

4.3  齐次线性方程的基础解析和通解，解空间，非其次线性方程组的通解

参考链接：https://zhuanlan.zhihu.com/p/36584206