为了降低过拟合风险，需要控制模型复杂度，自然想到减少参数个数，但是这个问题不易直接解决，可以通过放宽条件控制。
- L1正则化（嵌入式特征选择）——又称参数稀疏性惩罚——lasso reg
添加优化条件：
这会使参数条件空间有明显的凸角，这些突出点显然会成为联合优化时的最优解，但同时这些这些凸点中又会有较多的0值（由其限制条件可见，凸点都在坐标轴上），因此L1范数会更易得到稀疏解，有一定的特征选择作用。得到全局最优的可能更大。
约小，即C越大，更易获得最优值，但同时存在过拟合风险。
越大，即C越小，此时正则化作用很强，但也容易造成欠拟合风险。（相当于添加拉普拉斯先验）
- L2正则化——又称权重衰减——ridge reg岭回归
添加优化条件：（注意这里用的是平方和，即L2范数的平方）
L2范数条件会使参数条件空间更平滑，联合优化的最优解常出现在象限中。但是其最优解往往是局部最优。（相当于添加高斯先验）