猪猪的机器学习笔记（三）矩阵和线性代数

矩阵和线性代数

作者:樱花猪

 

摘要：

本文为七月算法（julyedu.com）12月机器学习第三次课在线笔记。矩阵和线性代数在图像处理中运用的非常多，同样地，在机器学习某种事件特征我们常常会描绘成特征向量，那么矩阵的运算和理论方法都必将会应用进来。如果说，概率论提供了机器学习的思维方法，那么矩阵论则是机器学习公式推导和计算机计算的桥梁。本节课内容虽然知识点不多但都非常的重要，是我们日后能够看懂和实际编程的基石。

 

引言：

本文课题命名矩阵和线性代数但是内容实际上远远超出线性代数的范围，感叹邹博强大的理论基础把许多发杂的理论都简单化了，于是即使只在本科混了几节线性代数也能够无压力的上完这节课。

本文将按照上课的顺序，首先接着上次课再次细致的一下统计量的无偏性，接着再正式进入矩阵论的内容。在矩阵论部分，首先从矩阵的乘法规则来引出状态转移矩阵意义。接下来我们讨论了矩阵的特征值和向量，并介绍了对称阵、正交阵、正定阵等。最后介绍了一下矩阵求导的方法，这部分虽然没有技术难点但在平日操作中总是模糊不清需要强化记忆。

 

预备知识：

矩阵论

 

统计量的无偏性

无偏性；均方误差准则MSE

线性代数：

代数余子式；伴随矩阵；方阵的逆；概率转移矩阵；正交阵；特征值和特征向量；合同变换；正定阵；

矩阵与导数：

向量偏导公式；标量对向量的导数；标量对方阵的导数；

 

一、统计量的无偏性

1.1 无偏性

通过样本进行点估计产生的参数为，我们可以把参数看成一个随机变量。当这个随机变量的期望等于整体实际分布的参数，则我们称这个估计是无偏估计。这可以解释为什么样本方差要除以n-1。

 

1.2均方误差准则

这个量越小，平均误差越小，估计结果越优。

若是无偏估计，则

 

二、线性代数

2.1 代数余子式

在一个n阶行列式A中,把(i,j)元素a_ij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列式叫做元素a_ij的余子式，记作M_ij

注意：行列式是数值，因此余子式和代数余子式也是数值；余子式可能也可能是负数。

 

2.2 伴随矩阵

注意：位于第j行i列

 

2.3 方阵的逆

当方阵的行列式不为0时，有：

如果不是方正，请参考矩阵的广义逆

 

2.4 范德蒙行列式

 

 

2.5概率转移矩阵

举例：假定按照经济状况将人群分成上、中、下三 个阶层，用1、2、3表示。假定当前处于某阶层只和上一代有关，即：考察父代为第i阶层，则子代为第j阶层的概率。假定为如下转移概率矩阵：

 

 

第n+1代中处于第j个阶层的概率为：

 

因此，矩阵P即为(条件)概率转移矩阵。

平稳分布：当迭代足够多次的时候，多项分布至于转移矩阵有关而与初始概率无关。

 

2.6 正交阵

  若n阶矩阵A满足，成A为正交矩阵， 简称正交阵。

  A是正交阵的充要条件：A的列(行)向量都是单位向量，且两两正交。

  A是正交阵，X为向量，则称作正交变换。 正交变换不改变向量长度。

 

2.7 特征值和特征向量

A是n阶矩阵，若数λ和n维非0列向量X满足 Ax=λx，那么，数λ称为A的特征值，x称 为A的对应于特征值λ的特征向量。

设n阶矩阵A=(aij)的特征值为λ1,λ2,...λn,则：

 

矩阵A主行列式的元素和，称作矩阵A的迹。

 

2.8 合同变换

设A为n阶对称阵，则必有正交阵P，使得

 

 

2.9 正定阵

定义：对于n阶方阵A，若任意n阶向量x，都有 xTAx>0，则称A是正定阵。

判定：

a. 对称阵A为正定阵；

b. A的特征值都为正；

c. A的顺序主子式大于0；

 

三、矩阵与导数

3.1 向量偏导公式（对向量求偏导）

3.2 标量对向量的导数

A为n×n的矩阵， x为n×1的列向量，记

则有：（y是标量）

若A为对称则有：

 

3.3 标量对方阵的导数

来自为知笔记(Wiz)