机器学习| 高数-基础

机器学习数学基础

　　线性代数知识
　　微积分知识
　　概率与统计知识

线性代数

矩阵中的基本概念、矩阵的加法、矩阵的乘法、矩阵的转置、矩阵的运算法则、矩阵的逆

矩阵

• 矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合
• 矩阵最早来自于方程组的系数及常数所构成的方阵，最初是用来解决线性方程求解的工具
• 矩阵是高等代数中的常见工具，也常见于统计分析等应用数学学科中；矩阵在物理学和计算机科学中都有应用
• 矩阵的运算是数值分析领域的重要问题

定义：

　　由 m × n 个数 a_ij (i = 1,2,...,m; j = 1,2,...,n) 排成的 m 行 n 列的数表 A 就称为 m 行 n 列的矩阵
　　这 m × n 个数称作矩阵 A 的元素，元素 a_ij 位于矩阵 A 的第 i 行第 j 列
　　m × n 矩阵 A 可以记作 A_m×n，其中 m是行数，n是列数，m, n > 0

　　特殊矩阵：对于A_m×n，如果 m = n，即矩阵的行数与列数相等，那么称A为方阵

基本概念：

                       

行数与列数都等于 n 的矩阵称为 n 阶矩阵，又称做 n 阶方阵，可以记作 A_n

只有一行的矩阵 A_1×n 称为行矩阵，又叫行向量

同样，只有一列的矩阵 A_n×1 称为列矩阵，又叫列向量

对于方阵，从左上角到右下角的直线，叫做主对角线，主对角线上的元素称为主对角线元素

特殊矩阵：

 　　矩阵的元素全部为0，称为零矩阵，用 O 表示

 　　对于方阵，如果只有对角线元素为1，其余元素都为0，那么称为单位矩阵，一般用 I 或者 E 表示

 　　对于方阵，不在对角线上的元素都为0，称为对角矩阵

 矩阵的加法

　　把矩阵的对应位元素相加

　　矩阵的形状必须一致，即必须是同型矩阵

  矩阵的乘法

1. 数与矩阵相乘

数值与矩阵每一个元素相乘 

2.   矩阵与矩阵相乘

　　左矩阵的每一行与右矩阵的每一列，对应每一个元素相乘 

 　　A × B，那么有 A 矩阵 m × n，B 矩阵 n × k，要求左侧矩阵的列数 n，必须等于右侧矩阵的行数 n，结果矩阵 C 为 m × k 矩阵。

规则：一行乘一列，行定列移动，列尽下一行

         

   

   矩阵的转置

• 把矩阵 A 的行换成相同序数的列，得到一个新矩阵，叫做 A 的转置矩阵，记作 A^T
• 行变列，列变行
• A 为 m × n 矩阵，转置之后为 n × m 矩阵

  矩阵的运算法则

加法

 　　A + B = B + A

　　( A + B ) + C = A + ( B + C )

减法

　　A - B = A + B × ( -1 )

　　A - A = A + ( -A ) = O

乘法

　　( λμ ) A = λ ( μA )

　　( λ + μ ) A = λA + μA

　　λ ( A + B ) = λA + λB

　　( AB ) C = A ( BC )

　　λ ( AB ) = ( λA ) B = A ( λB )

　　A ( B + C ) = AB + AC

       ( B + C ) A = BA + CA

转置

　　( A^T )^T = A

　　( A + B )^T = A^T + B^T

　　( λA ) ^T = λA^T

　　( AB )^T = B^T A^T

  矩阵的逆

　　对于 n 阶方阵 A，如果有一个 n 阶方阵 B，使得 AB = BA = E，    就称矩阵 A 是可逆的，并把 B 称为 A 的逆矩阵

　　A 的逆矩阵记作 A^-1，如果 AB = BA = E，则 B = A^-1

  微积分基本知识

什么是导数，偏导数，方向导数和梯度，凸函数和凹函数

        导数     

　　 导数反映的是函数 y = f(x) 在某一点处沿 x 轴正方向的变化率；

　　在x轴上某一点处，如果 f’(x)>0，说明f(x)的函数值在x点沿x轴正方向是趋于增加的；

　　如果 f’(x)<0，说明f(x)的函数值在x点沿x轴正方向是趋于减少的。

  偏导数

• 导数与偏导数本质是一致的，都是当自变量的变化量趋于0时，函数值的变化量与自变量变化量比值的极限
• 偏导数也就是函数在某一点上沿某个坐标轴正方向的的变化率
• 导数指的是一元函数中，函数 y=f(x) 在某一点处沿 x 轴正方向的变化率； 而偏导数，指的是多元函数中，函数 y=f(x₁,x₂,…,x_n) 在某一点处沿某一坐标轴（x_1,x₂,…,x_n）正方向的变化率

           

方向导数

　　函数某一点在某一趋近方向（向量方向）上的导数值

　　方向导数就是函数在除坐标轴正方向外，其他特定方向上的变化率

         

  梯度（Gradient）

问题：函数在变量空间的某一点处，沿着哪一个方向有最大的变化率？

         

• 定义：函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值
• 梯度是一个向量，即有方向、有大小； 
• 梯度的方向是最大方向导数的方向；梯度的值是最大方向导数的值

  凸函数和凹函数

           

  概率统计基础知识

常用统计变量

　　样本均值

                            

　　样本方差

                          

　　样本标准差

                     

常见概率分布

　　均匀分布

                  

　　正态分布（高斯分布）

               

　　指数分布

           

重要概率公式

      

　　条件概率公式

　　　　　　

　　全概率公式

　　　　　　

　　贝叶斯公式