在机器学习的过程中，有很多的算法，算法的原理及推导过程的理解尤为重要，算法的理解深浅直接关系到对模型的构造能力，优化能力，故此，算法原理及推导过程不可不知。代码倒是其次，就那么几行，套模板即可。
本文为一个大体的目录，首先要了解到前言知识指导的原理和内容，才能流畅的学习各个算法的原理和推导过程，接下来的几篇文章会慢慢展开目录的内容。如有错漏，还望评论区指正或私信交流。一边学习一边记录更新，暂时只有这些。
前言知识指导：
泰勒展开公式
拉格朗日乘数法
梯度
最小二乘法
联合概率与条件概率
贝叶斯公式
伯努利分布
二项分布
正态分布
边缘分布
极大似然估计
线性回归
岭回归
LASSO回归
多项式回归
解析解与数值解
最小二乘回归（求解多元线性回归解析解）
梯度下降法（求解多元线性回归数值解）
KNN算法
kd-tree
逻辑回归
softmax回归
决策树模型
ID3算法
C4.5算法
CART算法 softmax
集成学习
集成算法
随机森林
提升算法
GBDT(迭代决策树)
Adaboost