1、L1范式和L2方式的区别
（1）L1范式是对应参数向量绝对值之和
（2）L1范式具有稀疏性
（3）L1范式可以用来作为特征选择，并且可解释性较强（这里的原理是在实际Loss function中都需要求最小值，根据L1的定义可知L1最小值只有0，故可以通过这种方式来进行特征选择）
（4）L2范式是对应参数向量的平方和，再求平方根
（5）L2范式是为了防止机器学习的过拟合，提升模型的泛化能力
2、优化算法及其优缺点
温馨提示：在回答面试官的问题的时候，往往将问题往大的方面去回答，这样不会陷于小的技术上死磕，最后很容易把自己嗑死了。
（1）随即梯度下降
优点：可以一定程度上解决局部最优解的问题
缺点：收敛速度较慢
（2）批量梯度下降
优点：容易陷入局部最优解
缺点：收敛速度较快
（3）mini_batch梯度下降
综合随即梯度下降和批量梯度下降的优缺点，提取的一个中和的方法。
（4）牛顿法
牛顿法在迭代的时候，需要计算Hessian矩阵，当维度较高的时候，计算Hessian矩阵比较困难。
（5）拟牛顿法
拟牛顿法是为了改进牛顿法在迭代过程中，计算Hessian矩阵而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解。
（6）共轭梯度
（7）启发式的优化算法
启发式的优化算法有遗传算法，粒子群算法等。这类算法的主要思想就是设定一个目标函数，每次迭代根据相应的策略优化种群。直到满足什么样的条件为止。
3、RF与GBDT之间的区别
（1）相同点
- 都是由多棵树组成
- 最终的结果都是由多棵树一起决定
（2）不同点
- 组成随机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
- 组成随机森林的树可以并行生成，而GBDT是串行生成
- 随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和
- 随机森林对异常值不敏感，而GBDT对异常值比较敏感
- 随机森林是通过减少模型的方差来提高性能，而GBDT是减少模型的偏差来提高性能的
- 随机森林不需要进行数据预处理，即特征归一化。而GBDT则需要进行特征归一化
（3）RF：
优点：
- 易于理解，易于可视化
- 不需要太多的数据预处理，即数据归一化
- 不易过拟合
- 易于并行化
缺点：
- 不适合小样本数据，只适合大样本数据
- 大多数情况下，RF的精度低于GBDT
- 适合决策边界的是矩阵，不适合对角线型
（4）GBDT
优点：
- 精度高
缺点：
- 参数较多，容易过拟合
- 不易并行化
4、SVM的模型的推导
5、SVM与树模型之间的区别
（1）SVM
- SVM是通过核函数将样本映射到高纬空间，再通过线性的SVM方式求解分界面进行分类。
- 对缺失值比较敏感
- 可以解决高纬度的问题
- 可以避免局部极小值的问题
- 可以解决小样本机器学习的问题
（2）树模型
- 可以解决大样本的问题
- 易于理解和解释
- 会陷入局部最优解
- 易过拟合
6、梯度消失和梯度膨胀
（1）梯度消失：
- 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0
- 可以采用ReLU激活函数有效的解决梯度消失的情况
（2）梯度膨胀
- 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大
- 可以通过激活函数来解决
7、LR的原理和Loss的推导
