数学知识总括
- 微积分(高等数学)
- 线性代数
- 概率论与数理统计
- 凸优化
微积分
微积分学，数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象，极限是微积分的基本概念，微分和积分是特定过程特定形式的极限
微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的以下知识点：
- 导数和偏导数的定义与计算方法
- 梯度向量的定义
- 极值定理，可导函数在极值点处导数或梯度必须为0
- 雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求导推导中会用到
- Hessian矩阵，这是2阶导数对多元函数的推广，与函数的极值有密切的联系
- 凸函数的定义与判断方法
- 泰勒展开公式
- 拉格朗日乘数法，用于求解带等式约束的极值问题
其中最核心的是记住多元函数的泰勒展开公式，根据它我们可以推导出机器学习中常用的梯度下降法，牛顿法，拟牛顿法等一系列最优化方法：
线性代数
线性代数的理论是计算技术的基础，同系统工程，优化理论及稳定性理论等有着密切联系，随着计算技术的发展和计算机的普及，线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象，概念之间联系很密切。内容包括行列式，矩阵，向量空间，线性方程组，矩阵的相似对角化，二次型，线性空间与线性变换等, 机器学习中主要用到以下知识点
- 向量和它的各种运算，包括加法，减法，数乘，转置，内积
- 向量和矩阵的范数，L1范数和L2范数
- 矩阵和它的各种运算，包括加法，减法，乘法，数乘
- 逆矩阵的定义与性质
- 行列式的定义与计算方法
- 二次型的定义
- 矩阵的正定性
- 矩阵的特征值与特征向量
- 矩阵的奇异值分解
- 线性方程组的数值解法，尤其是共轭梯度法
概率论与数理统计
主要内容包括：概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容, 机器学习中主要用到以下知识点
- 随机事件的概念，概率的定义与计算方法
- 随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数
- 条件概率与贝叶斯公式
- 常用的概率分布，包括正态分布，伯努利二项分布，均匀分布
- 随机变量的均值与方差，协方差
- 随机变量的独立性
- 最大似然估计
凸优化
凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用
凸优化是机器学习中经常会提及的一个概念，这是一类特殊的优化问题，它的优化变量的可行域是凸集，目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解，因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题，基本上已经宣告此问题得到了解决。在机器学习中，线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。